Sau hòa ước Thiệu Hưng, 2 bên Tống - Kim trong 20 năm không xảy ra xung đột. Tống Cao Tông và 1 số đại thần thuộc phái đầu hàng hoàn toàn thỏa mãn với cục diện nép mình ở phía nam, cho xây dựng nhiều cung điện dinh thự hào hoa tráng lệ ở Lâm An, sống cuộc sống vàng son, không nghĩ gì đến việc thu phục lại vùng lãnh thổ bị chiếm đoạt. Trong thời gian đó, trong nội bộ tập đoàn thống trị triều Kim có xung đột. Quí tộc Hoàn Nhan Lượng giết Kim Hy Tông rồi tự lập làm vua, lịch sử gọi là Hải Lăng Vương. Hoàn Nhan Lượng dời kinh đô Kim từ Thượng Kinh xuống Yên Kinh (Bắc Ninh ngày nay) để theo đuổi cuộc chiến tranh tiêu diệt Nam Tống. Một hôm, Nhan Lượng nằm mơ, thấy mình lên thiên cung, thiên đế hạ lệnh cho ông thảo phạt triều Tống. Ông ta nói lại giấc mơ đó cho các đại thần nghe. Một số kẻ xu phụ đều nói đó là điềm tốt và sụp lạy chúc mừng hoàng đế. Hoàn Nhan Lượng liền quyết định cử quân tiến đánh miền nam.

Tin tức về việc Hoàn Nhan Lượng chuẩn bị khởi binh truyền tới Lâm An. Một số đại thần đề nghị triều đình chuẩn bị chống lại nhưng đều bị Tống Cao Tông quở trách là bày đặt, sinh sự. Sau đó, triều Kim phái sứ thần Thi Nghi Sinh đến Lâm An, Tống Cao Tông cử đại thần là Trương Đào tiếp đón. Trương Đào biết Thi Nghi Sinh vốn là quan cũ của triều Tống nên muốn Thi Nghi Sinh cho biết tin tức. Thi Nghi Sinh cũng muốn báo tin, nhưng bên cạnh luôn có quan chức người Kim nên rất khó nói thẳng. Thi Nghi Sinh đành nói bóng gió: "Hôm nay gió bắc thổi ghê gớm quá!", rồi vỗ bàn nói: "Bút lai! Bút lai!". (Đưa bút đến đây! Âm Trung Quốc chữ "bút" và chữ "tất" đồng âm. "Bút lai" có thể hiểu là "tất lai", tức "đều đến cả").

Trương Đào được Thi Nghi Sinh tiết lộ cho biết tin tức, vội tâu với Tống Cao Tông là quân Kim sắp tiến công lớn. Nhưng Tống Cao Tông vẫn coi như gió thoảng ngoài tai. Tháng 9 năm 1161, Hoàn Nhan Lượng chuẩn bị xong, liền huy động 60 vạn quân, tổ chức thành 32 đạo, đưa toàn lực tiến công Nam Tống. Trước giờ xuất phát, Hoàn Nhan Lượng huênh hoang tuyên bố với các tướng lĩnh: "Trước kia Lương vương (tức Ngột Truật) tiến công triều Tống, tốn bao thời gian mà không dành được thắng lợi. Lần này ta xuất chinh, lâu là một trăm ngày, chóng là một tháng nhất định sẽ bình định phương nam!".

Đại quân của Hoàn Nhan Lượng tới sát bờ bắc Hoàng Hà. Chủ soái trấn thủ Giang Bắc là Lưu Kỳ đang ốm nặng, liền cử phó soái là Vương Quyền tới Thọ Xuân ở Hoài Tây tổ chức phòng thủ. Vương Quyền là kẻ tham sống sợ chết, nghe tin quân Kim đánh xuống, thì kinh hoàng bạt vía, không dám chống cự. Hoàn Nhan Lượng đưa quân vượt Hoài Hà, Vương Quyền nhìn thấy bóng quân Kim đã bỏ chạy 1 mạch qua Trường Giang, tới tận Thái Thạch mới dừng lại. Tống Cao Tông nghe tin Vương Quyền thua trận, bắt đầu lo sợ. Ông cách chức Vương Quyền và cử Lý Hiển Trung lên thay, đồng thời cử tể tướng Diệp Nghĩa Vấn lên thị sát tình hình trong quân phòng thủ Giang Hoài. Diệp Nghĩa Vấn cũng là kẻ nhát gan, không dám tự mình ra tiền tuyến, liền cử viên Trung thư xá nhân (1 chức quan văn) tới úy lạo các tướng sĩ Tống ở Thái Thạch. Ngu Doãn Văn tới Thái Thạch thì Vương Quyền đã đi rồi, còn người thay thế là Lý Hiển Trung thì chưa tới. Quân Kim bên kia bờ đang chuẩn bị vượt sông, quân Tống bên này không có chủ tướng; lòng người xốn xang, trật tự rối loạn. Ngu Doãn Văn tới bờ sông, thấy binh lính Tống ủ rũ, ngồi tụm 5 tụm 3 bên vệ đường, yên ngựa và khôi giáp vứt ngổn ngang bên cạnh. Ngu Doãn Văn hỏi: "Quân Kim sắp vượt sông, các ngươi còn ngồi đây đợi gì?".

Binh lính ngẩng đầu lên nhìn thấy là 1 quan văn, thì chán nản đáp: "Các tướng đều bỏ chạy cả, chúng tôi còn đánh chác nỗi gì!".

Thấy hàng ngũ quân đội rã rời như vậy, Ngu Doãn Văn giật mình, thấy nếu đợi Lý Hiển Trung tới thì không kịp, liền lập tức triệu tập các tướng sĩ Tống lại, nói với họ: "Ta được lệnh triều đình tới đây úy lạo quân đội. Các vị cố gắng lập công, ta nhất định sẽ tâu lên triều đình để ban thưởng".

Mọi người thấy Ngu Doãn Văn đứng ra cầm đầu, cũng lấy lại tinh thần, họ nói: "Chúng tôi chịu mọi nỗi khổ do quân Kim gây ra, ai cũng muốn chống lại. Nếu nay ngài đứng ra cầm đầu, chúng tôi xin tình nguyện liều mình chiến đấu".

Có viên quan đi theo Ngu Doãn Văn thấy thế, liền nói: "Triều đình cử ngài đến đây úy lạo quân đội, chứ không phải để đốc chiến. Nay người khác làm cho tình hình nát bét thế này, ngài hà tất phải ôm lấy gánh nặng ấy".

Ngu Doãn Văn nổi giận nói: "Sao lại nói như vậy? Hiện nay nước nhà đang nguy cấp, sao ta lại có thể so đo được mất cho cá nhân để lảng tránh trách nhiệm?".

Ngu Doãn Văn chỉ là 1 thư sinh, chưa từng chỉ huy chiến đấu bao giờ, nhưng lòng yêu nước đã giúp ông tăng dũng khí. Ông lập tức hạ lệnh cho bộ binh và kỵ binh chỉnh đốn đội ngũ, dàn thành trận thế, lại phân thuyền bè trên sông thành 5 đội: 1 đội ở giữa sông, 2 đội bố trí ven bờ thuộc 2 bên đông tây, còn 2 đội ẩn dấu trong bến, dùng làm lực lượng dự bị. Quân Tống vừa bố trí xong thì quân Kim bắt đầu vượt sông. Hoàn Nhan Lượng đích thân vung lá cờ đỏ nhỏ chỉ huy phía sau. 100 chiến thuyền lớn của Kim chở đầy quân lính tiến sang bờ nam. Chẳng bao lâu sau, quân Kim bắt đầu leo lên bờ. Ngu Doãn Văn ra lệnh cho bộ tướng Thời Tuấn dẫn bộ binh xuất kích, hăng hái xông vào đánh. Từ ngày quân Kim tiến quân, chưa từng gặp sự chống trả nào, nay bỗng nhiên gặp phải đối thủ mạnh như vậy, liền tan vỡ. Chiến thuyền Tống ở trên sông cũng xông vào đánh thuyền quân Kim. Thuyền quân Tống tuy nhỏ, nhưng rất bền chắc, xông vào thuyền trận quân Kim như những mũi dao thép sắt nhọn, làm tan vỡ đội hình thuyền Kim. Rất nhiều thuyền Kim bị đánh chìm, nửa số quân địch chết đuối dưới sông, số còn lại vẫn ngoan cố chiến đấu. Mặt trời xuống núi, trời tối dần mà cuộc chiến đấu trên sông vẫn chưa kết thúc. Vừa may, có 1 toán lính Tống từ Quang Châu (nay là Hoàng Châu, Hà Nam) chạy về tới Thái Thạch. Ngu Doãn Văn yêu cầu liền yêu cầu họ chỉnh đốn đội ngũ rồi phát cho họ rất nhiều quân kỳ và trống trận, để họ phất nhiều cờ và thúc trống từ sau núi tiến ra bờ sông. Quân Kim trên sông thấy bờ phía nam vang lừng trống trận, cờ xí rợp trời đang tiến ra, thì cho là đại quân Tống tới tăng viện, liền cuống cuồng tháo chạy.

Bị thảm bại bất ngờ, Hoàn Nhan Lượng nổi giận đùng đùng, sai bắt số quân lính trốn chạy về đánh đập cho đến chết. Biết Hoàn Nhan Lượng không chịu thất bại, ngay đêm đó, Ngu Doãn Văn chia chiến thuyền làm 2 đội, 1 đội di chuyển lên thượng lưu, 1 đội ở lại bến. Tờ mờ sáng hôm sau, quả nhiên Hoàn Nhan Lượng lại thúc quân Kim vượt sông. Ngu Doãn Văn chỉ huy cả 2 đội thuyền đánh ép lại. Quân Kim đã nếm đòn của Ngu Doãn Văn, chỉ hoang mang chống đỡ. 300 thuyền lớn bị ùn lại giữa sông và bến vượt, bị quân Tống cho 1 mồi lửa, bốc cháy toàn bộ. Hoàng Nhan Lượng không vượt được sông ở Thái Thạch, lại trút giận lên binh lính, đem giết 1 số lớn, rồi dẫn quân tới Dương Châu, toan vượt sông ở đó. Sau khi quân Tống thắng lớn ở Thái Thạch, chủ tướng Lý Hiển Trung mới đem quân tới. Sau khi tìm hiểu diễn biến chiến đấu dưới sự chỉ huy của Ngu Doãn Văn, Lý Hiển Trung tỏ ra rất khâm phục. Ngu Doãn Văn nói với Lý Hiển Trung: "Sau khi bị thua ở Thái Thạch, quân địch nhất định sẽ tìm cách vượt sông ở Dương Châu. Trấn Giang đối diện ở Dương Châu chưa được chuẩn bị tình hình rất nguy hiểm. Ngài lưu lại đây, để tôi tới đó xem tình hình ra sao".

Lý Hiển Trung lập tức cấp cho Ngu Doãn Văn 1 số người ngựa, để ông dẫn tới Trấn Giang. Trấn Giang vốn do lão tướng Lưu Kỳ trấn giữ. Lúc đó, Lưu Kỳ đã ốm liệt giường. Khi tới nơi, Ngu Doãn Văn liền tới thăm ông. Lưu Kỳ nằm trên giường, nắm chặt tay Ngu Doãn Văn, nói với tâm trạng nặng nề: "Nước nhà nuôi quân ba mươi năm mà khi cần đến lại chẳng làm được gì. Ngờ đâu lập công lớn lại là một thư sinh như ông. Là một vị tướng, tôi thật cảm thấy hổ thẹn".

Ngu Doãn Văn an ủi ông rồi trở về trại quân. Ông ra lệnh cho thủy quân diễn tập bên sông. Quân Tống có 1 số lớn xa thuyền, do các thủy binh điều khiển, đi lại như bay, tuần tra xung quanh Kim Sơn. Quân Kim ở bờ bắc thấy thế rất đỗi kinh hoàng, vội báo gấp với Hoàn Nhan Lượng. Hoàn Nhan Lượng nổi giận, sai đánh cho tên lính đó 1 trận. Lúc đó, quân Kim sau khi thua mấy trận, tâm trạng hốt hoảng. Một số tướng sĩ ngầm bàn nhau bỏ trốn. Hoàn Nhan Lượng phát hiện, liền hạ lệnh: nếu lính trốn thì tướng chỉ huy sẽ bị tội chết; nếu tướng trốn thì chủ tướng thì chủ tướng sẽ bị tội chết. Đồng thời hạ lệnh: ngày mai vượt sông, kẻ nào chùn lại sẽ bị chém ngay. Tướng sĩ Kim không chịu đựng được sự tàn bạo của Hoàn Nhan Lượng, không đợi tới lúc ông ta hạ lệnh vượt sông, ngay đêm đó đã xông vào đại doanh, giết chết Hoàn Nhan Lượng. Hoàn Nhan Lượng bị giết, quân Kim liền rút lên phía bắc.

Trong khi Hoàn Nhan Lượng dẫn quân xuống phía nam, thì nội bộ triều Kim xảy ra biến động. Một số đại thần không hài lòng với sự thống trị của Hoàn Nhan Lượng, liền tôn Hoàn Nhan Ung lên ngôi hoàng đế. Đó là Kim Thế Tông. Sau trận Thái Thạch, để ổn định tình hình nội bộ, Kim Thế Tông cử người sang giảng hòa với Nam Tống. Chiến tranh Tống - Kim tạm thời được đình chỉ.