Trong chiến tranh thống nhất Trung Quốc, Minh Thái Tổ đã dựa vào số tướng lĩnh anh dũng thiện chiến để tranh thành cướp đất, đồng thời cũng sứ dụng những mưu sĩ tài giỏi để giúp ông bày mưu đặt kế. Trong số những mưu sĩ đó, nổi tiếng nhất là Lưu Bá Ôn. Lưu Bá Ôn tên là Lưu Cơ, Bá Ôn là tên tự. Ông vốn là quan chức triều Nguyên, không hài lòng với nền chính trị thối nát, nên thường viết văn thơ châm biếm chúng. Vì vậy, bị bãi chức về quê ở Thanh Điền (nay thuộc Triết Giang). Khi quân Chu Nguyên Chương đánh tới Triết Đông, Chu Nguyên Chương mời ông ra hợp tác với nghĩa quân, làm mưu sĩ cho mình. Trong những cuộc chiến với Trần Hữu Lượng, Lưu Cơ đã góp nhiều công sức. Vì ông đa mưu túc trí nên được Minh Thái Tổ rất tín nhiệm, thường ví ông với Trương Lương thời Tây Hán.

Không những giỏi về mưu lược, Lưu Cơ còn tinh thông thiên văn. Thời xưa, người ta quan niệm rằng hiện tượng thiên nhiên có quan hệ mật thiết với sự lành dữ của con người. Lưu Cơ nhờ sự quan sát, nghiên cứu tỉ mỉ tình hình chính trị xã hội trong nước, suy xét chu đáo mọi mặt nên dự đoán mọi việc thường chuẩn xác. Nhưng mọi người lại cho rằng đó là do ông giỏi thiên văn đoán được mệnh trời. Truyền thuyết dân gian coi Lưu Bá Ôn là người "chưa bói đã biết". Khi Chu Nguyên Chương làm Ngô vương, miền Giang Nam có đại hạn. Vì Lưu Cơ nắm việc thiên văn, Chu Nguyên Chương liền hỏi ông tại sao lại sinh ra đại hạn, làm thế nào để cho trời mưa xuống. Lưu Cơ nói: "Trời không chịu mưa, là vì trong nhà lao giam giữ một số người bị oan!".

Chu Nguyên Chương tin lời, liền cho kiểm tra lại các phạm nhân bị bắt. Lưu Cơ tra xét, quả có 1 số án oan. Ông tâu với Chu Nguyên Chương, xin sửa những án oan đó, và thả những người bị oan ra. Cầu mưa và sửa án oan vốn là 2 việc không liên quan gì đến nhau. Lưu Cơ cũng không có pháp thuật gì để cầu mưa. Chẳng qua, ông hiểu thiên văn, có thể dự đoán được sự thay đổi của thời tiết; liền mượn việc đó, khuyên Chu Nguyên Chương sửa lại 1 số án oan mà thôi. Quả nhiên mấy hôm sau, mây đen đầy trời rồi mưa như trút nước. Lưu Cơ nhân lúc Chu Nguyên Chương phấn khởi, liền khuyên ông định ra pháp luật, lấy đó làm căn cứ, tránh việc giết nhầm người vô tội. Sau khi Minh Thái Tổ lên ngôi, phong Lưu Cơ làm ngự sử trung thừa, phụ trách công tác tư pháp. Lưu Cơ tiến hành công việc rất nghiêm minh. Một lần, 1 người thân tín của thừa tướng Lý Thiên Trường phạm pháp. Lý Thiên Trường là khai quốc công thần của triều Minh, lại là đồng hương của Minh Thái Tổ, có thế lực rất lớn. Nhưng Lưu Cơ không đếm xỉa gì đến sự ngăn trở của Lý Thiên Trường, cứ tâu lên Minh Thái Tổ, cho xử chém kẻ phạm pháp đó. Việc này khiến Lý Thiên Trường thâm thù ông. Vừa gặp dịp vào năm đó, kinh thành lại bị hạn hán, Minh Thái Tổ rất lo lắng. Lưu Cơ nhân dịp đó tâu với Minh Thái Tổ: các chiến sĩ tử vong trong chiến tranh, vợ con họ cần được chăm sóc; những thợ thuyền tử vong trong khi xây đắp thành trì, xương cốt còn rải rác trên đồng ruộng, không ai mai táng. Nếu giải quyết những việc đó, trời có thể mưa.

Minh Thái Tổ 1 lòng mong mưa, tất nhiên nhanh chóng thực hiện lời khuyên của Lưu Cơ: cử người chăm sóc vợ con tử sĩ, chôn cất di cốt thợ thuyền. Lưu Cơ tuy đã làm được mấy việc tốt trên, nhưng chỉ dựa vào ý trời để khuyên vua, không phải lúc nào cũng trôi chảy. Lần này, điều dự đoán của ông không ứng nghiệm, mọi việc đã tiến hành xong mà hơn 10 hôm sau, trời vẫn nóng như thiêu đốt, không có 1 giọt mưa nào. Điều này làm Minh Thái Tổ tức giận, lại thêm lời gièm pha của Lý Thiên Trường, khiến Lưu Cơ cảm thấy không yên. Lúc đó, bà vợ ông bị bệnh mất ở quê nhà, Lưu Cơ liền nhân cớ đó xin nghỉ việc về nhà. Nhưng Minh Thái Tổ vẫ đặc biệt coi trọng ông. Một lần, hoàng đế tỏ ý phong ông làm thừa tướng, Lưu Cơ vội tìm cách thoái thác: "Muôn tâu bệ hạ, chọn thừa tướng quan trọng như chọn đòn nóc một tòa nhà, cần chọn gỗ lớn và tốt. Nếu chọn gỗ nhỏ và xấu, e sẽ có nguy cơ đổ sập".

Sau khi triệt chức thừa tướng của Lý Thiên Trường, Minh Thái Tổ lại 1 lần nữa muốn ông làm thừa tướng. Lưu Cơ nói: "Hạ thần có tính nóng vội và cứng cỏi, khó dung được kẻ xấu. Thêm nữa, tuổi tác đã cao, không gánh vác nổi trách nhiệm nặng nề. Trong thiên hạ có nhiều nhân tài, mong bệ hạ lưu tâm chọn lựa".

Lưu Cơ về Thanh Điền, sống đời ẩn cư, không bao giờ nhắc tới công lao trước kia. Huyện lệnh Thanh Điền nhiều lần xin gặp, đều bị Lưu Cơ khéo léo từ chối. Một hôm, viên huyện lệnh hóa trang làm người dân thường đến xin gặp Lưu Cơ. Ông đang rửa chân, thấy 1 người lạ, liền vội đi giày, mặc áo ra tiếp, nhiệt tình mời vào nhà, giữ lại ăn cơm. Lưu Cơ hỏi họ tên người khách, viên huyện lệnh đành nói thực, mình là quan địa phương tìm đến xin thỉnh giáo. Lưu Cơ giật mình, vội đứng dậy vái chào, tự xưng mình là dân dưới quyền cai trị. Từ đó về sau, ông không bao giờ gặp lại viên huyện lệnh nữa. Lưu Cơ ở quê nhà, nhưng vẫn quan tâm đến chính sự trong triều. Một lần, Minh Thái Tổ cử người đến Thanh Điền hỏi Lưu Cơ về điềm lành dữ của hiện tượng. Lưu Cơ nói: "Sương tuyết mùa đông vừa qua tiếp theo đó sẽ là mùa xuân ấm áp. Nay nước nhà đã an định, mong bệ hạ hãy khoan hòa trong chính sự".