Sau hòa ước Thiệu Hưng, Ngột Truật cử sứ giả gửi thư mật cho Tần Cối, nói: "Ông luôn cầu hòa với chúng ta, nhưng vẫn để Nhạc Phi thì chúng ta không yên tâm được. Nhất định phải nghĩ cách trừ bỏ hắn đi".

Tần Cối liền tuân theo ý chủ, tiến hành hạ độc thủ với Nhạc Phi. Trước hết, hắn xúi giục đồng đảng là giám sát ngự sử Mạch kỳ Tiết dâng sớ lên triều đình, công kích Nhạc Phi kiêu căng tự phụ và dựng nên chuyện khi quân Kim tiến công Hà Tây, Nhạc Phi đã ngồi yên không cứu, bỏ mặc đất đai. Sau phát pháo tiến công đầu tiên của Mạch Kỳ Tiết, 1 số đồng đảng khác của Tần Cối hùa nhau dâng sớ công kích Nhạc Phi. Biết Tần Cối không buông tha mình, Nhạc Phi liền chủ động xin từ chức khu mật phó sứ, Cao Tông lập tức phê chuẩn. Nhưng sự việc không kết thúc ở đó, đại tướng Trương Tuấn nguyên là cấp trên của Nhạc Phi, sau đó Nhạc Phi lập công lớn được thăng cấp nên Trương Tuấn đem lòng ghen ghét. Tần Cối biết tình hình đó, liền câu kết với Trương Tuấn, đồng thời xúi giục 2 bộ tướng của Nhạc Phi là Vương Quí, Vương Tuấn dựng chuyện vu cáo 1 bộ tướng khác là Trương Hiến muốn chiếm Tương Dương, nổi dậy để giúp Nhạc Phi giành lại binh quyền; đồng thời còn bịa đặt rằng Nhạc Vân, con Nhạc phi đã liên lạc với Trương Hiến để bí mật xếp đặt kế hoạch đó.

Dựa vào sự vu cáo của Vương Quí, Vương Tuấn, Tần Cối trước hết cho bắt giam Trương Hiến vào nhà giam Đại lý tự, dùng hình cụ tra tấn nặng nề, nhưng Trương Hiến thà chết không chịu nhận. Sau đó, Tần Cối lại tâu xin Tống Cao Tông bắt cha con Nhạc Phi đưa Đại lý tự thẩm vấn. Khi bị quan lại đến bắt, Nhạc Phi cười tự tin, nói: "Trên có trời, dưới có đất, đủ chứng minh rằng Nhạc Phi này không có tội!".

Khi Nhạc Phi, Nhạc Vân bị giải tới Đại lý tự, thì Trương Hiến đã bị khảo đả tới mức thịt da bết máu, không còn hình dạng con người nữa. Nhìn thấy tình cảnh đó, Nhạc Phi vô cùng thương xót và căm giận. Mạch Kỳ Tiết là kẻ trực tiếp thẩm vấn Nhạc Phi. Hắn đưa đơn tố cáo của Vương quí, Vương Tuấn cho ông xem và quát lớn: "Triều đình đâu có bạc đãi các ngươi. Tại sao các ngươi mưu phản?".

Nhạc Phi nói: "Tôi không phạm lỗi gì với quốc gia. Các ông là người nắm phép nước, không nên vu cáo người trung lương".

Những quan lại xung quanh nhao nhao phụ họa với Mạch Kỳ Tiết, đổ riệt cho Nhạc Phi tội mưu phản. Nhạc Phi biết bọn này đều là đồng đảng của Tần Cối, có phân trần cũng chẳng ích gì, liền than dài nói: "Ngày nay ta rơi vào tay gian tặc tuy có tấm lòng son trung nghĩa, cũng không có cách gì trình bày được!".

Tần Cối lại cử viên Ngự sử trung thừa là Hà Đào đến thẩm vấn. Nhạc Phi không thèm trả lời 1 câu, mà cởi áo, vạch lưng ra cho Hà Đào xem, thấy trên lưng Nhạc Phi có xăm 4 chữ lớn là "Tởn trung bái quốc", dấu xăm rất sâu. Hà Đào thấy vậy, hết sức xúc động, không dám phỏng vấn nữa, liền đưa Nhạc Phi trở lại nhà giam, rồi xem xét những hồ sơ liên quan, thấy không có chứng cớ gì để buộc tội Nhạc Phi mưu phản, đành đem sự thực báo cáo Tần Cối. Tần Cối thấy Hà Đào đồng tình với Nhạc Phi, không cho ông thẩm vấn nữa, lại giao cho Mạch Kỳ Tiết thêu dệt tội trạng. Mạch Kỳ Tiết cứ một mực bám lấy chuyện Nhạc Vân viết thư cho Trương Hiến, bàn kế hoạch giành binh quyền để mưu phản, nhưng hắn không đưa ra được tang chứng, liền nói bừa rằng thư đó đã bị Trương Hiến đốt đi rồi. Mạch kỳ Tiết liên tục khảo đả Nhạc Phi, Nhạc Vân và Trương Hiến, nhưng trước sau không ai chịu nhận tội. Một hôm, Mạch Kỳ Tiết đưa giấy cho Nhạc Phi, yêu cầu viết lời cung. Nhạc Phi cầm bút, viết luôn 8 chữ: "Thiên nhật chiêu chiêu, thiên nhật chiêu chiêu" (Mặt trời sáng tỏ, mặt trời sáng tỏ).

Vụ án kéo dài suốt 2 tháng, thẩm vấn không có kết quả gì. Các quan chức trong triều đều biết Nhạc Phi bị oan, có người mạnh dạn dâng sớ minh oan cho Nhạc Phi nhưng lập tức bị Tần Cối hãm hại. Lão tướng Hàn Thế Trung không chịu được, trực tiếp gặp Tần Cối, hỏi Tần Cối căn cứ vào đâu mà nói Nhạc Phi mưu phản, có chứng cớ gì không. Tần Cối ngang ngược trả lời: "Lá thư của Nhạc Vân gửi Trương Hiến tuy không có để làm chứng, nhưng việc đó có thể có".

Hàn Thế Trung nổi giận nói: "Ba chữ "có thể có" làm sao khiến cho thiên hạ chịu phục được!". Ông hết sức đấu tranh, nhưng không có kết quả gì, liền dâng sớ, xin từ chức khu mật sứ.

Một hôm, Tần Cối từ triều đình về nhà, ngồi uống rượu với vợ là Vương thị ngoài hiên. Tần Cối cầm 1 quả cam, vì tâm thần bất định nên cứ dùng ngón tay vạch lăng nhăng trên vỏ cam. Vương thị là kẻ còn thâm độc hơn Tần Cối, biết chồng đang băn khoăn do dự về việc có nên giết ngay Nhạc Phi không, liền cười nhạt nói: "Lão già này, sao không quyết đoán gì cả. Nên biết rằng bắt hổ thì dễ, nhưng thả hổ thì khó đấy".

Nghe lời Vương thị, Tần Cối quyết tâm hạ độc thủ, liền viết 1 mảnh giấy, bí mật giao cho tay chân trong nhà ngục, ra lệnh thủ tiêu Nhạc Phi. Vào 1 đêm tháng giêng năm 1142, vị anh hùng dân tộc mới 39 tuổi đã bị giết hại trong nhà ngục. Nhạc Vân, Trương Hiến cũng đồng thời bị hại. Sau khi Nhạc Phi bị giết, 1 lính canh ngục là Quí Thuận liền lén đem chôn cất di cốt của ông. Đến sau khi Tống Cao Tông chết đi, vụ án oan của Nhạc Phi mới được xem xét và minh oan. Người ta đem di cốt của Nhạc Phi mai táng trên Thê Hà Lĩnh ven Tây Hồ. Sau đó, lại xây dựng Nhạc Miếu ở phía đông mộ đó. Ngày nay, trong tòa điện lớn của ngôi Nhạc miếu trang nghiêm hùng vĩ, có 1 pho tượng Nhạc Phi mặc võ phục, phía trên treo 1 bức hoành phi viết 4 chữ lớn theo đúng bút tích của ông: "Hoàn ngã hà sơn" (trả lại sông núi của chúng ta), khiến mọi người trào dâng niềm tôn kính. Đối diện với mộ Nhạc Phi, còn dựng 4 bức tượng đúc bằng gang của 4 tên gian tặc Tần Cối, Vương thị, Mạch Kỳ Tiết và Trương Tuấn ở tư thế quì, 2 tay bị trói quặt ra sau, tỏ rõ lòng khinh ghét, căm giận đối với lũ gian tặc bán nước.