Quân của Nhạc gia liên tiếp giành lại những vùng đất đã mất, khoảng cách tới Khai Phong ngày càng gần. Nhạc Phi vô cùng tự tin, nói với quân sĩ:
– Đợi ngày tới phủ Hoàng Long, mọi người sẽ cùng say chén.
Sau đó, ông liên tiếp nhận được 12 đạo Kim bài của Tống Cao Tông, lệnh mang quân hồi triều. Vốn Cao Tông không muốn thấy Khâm Tông về triều, chỉ muốn mình được an tâm làm một Tiểu Hoàng đế của Nam Tống. Hơn nữa, Cao Tông sợ thế lực của Nhạc Phi ngày một lớn, cái đuôi to khó điều khiển. Thời Thái Tổ “Bôi tửu giải binh quyền” chính là do thủ đoạn này, truyền thống nhà họ Triệu là vậy. Ngột Truật nhiều lần bị Nhạc Phi đánh bại, sai sứ mang mật thư tới cho Tể tướng Tần Cối, nói: “Ngài ngày ngày vẫn nói muốn cùng chúng tôi nghị hòa, nhưng Nhạc Phi thì không ngừng tiến quân lên phía bắc, có còn gì là đạo lý không? Các nguời thật muốn giảng hòa, trước hết phải giết chết Nhạc Phi!”
Tần Cối là nguời vốn có oán hận với Nhạc Phi, nay lại nhận được thư của Ngột Truật, bèn quyết định lập mưu hãm hại Nhạc Phi. Nhưng Nhạc Phi là một Thống soái được lòng binh sĩ và nhân dân, ông chiến đấu với kẻ địch quên thân mình, chiến công lẫy lừng, uy danh rộng khắp. Một danh tướng có tiếng “trung quân ái quốc” như vậy, làm sao có thể tìm được lý do để trị tội, để giết được? Gian thần Tần Côi vẫn ra sức tìm mọi mưu sâu kế hiểm. Hắn biết Gián nghị đại phu Vạn Sĩ Khiết có mối thù với Nhạc Phi, bèn nhờ ông ta soạn một tấu chương đàn hặc Nhạc Phi. Ngoài ra, Tần Cối còn nhờ Trung thừa Hà Thọ và Thị ngự sử La Nhữ vu cáo tội danh Nhạc Phi. Tống Cao Tông vốn đã không thích Nhạc Phi vì nhiều lần ông nói tới chuyện đón hai vua Huy Tông và Khâm Tông về triều, nhận được những tấu chương vu cáo, không xét thật giả, bèn bãi chức quan của Nhạc Phi.
Tần Cối chưa dừng lại ở đó. Hắn nghe nói một bộ hạ của Nhạc Phi là Phó Thống chế Vương Tuấn vì chiến đấu chưa tận lực, không được ban thưởng, rất oán hận Nhạc Phi nên muốn dùng Vương Tuấn vu cáo Trương Hiến và Nhạc Vân bộ tướng của Nhạc Phi mưu phản. Sau đó, bắt Trương Hiến và Nhạc Vân tống giam tiến hành tra khảo buộc họ nhận tội. Trương Hiến và Nhạc Vân bị đánh đập thịt nát xương tan vẫn không thừa nhận tội danh mưu phản. Lúc này, Nhạc Phi đã bị bãi quan, đang nhàn cư ở Lư Sơn, hắn lừa ông tới Lâm An để buộc tội mưu phản cho ông. Nhạc Phi bụng dạ ngay thẳng, vô cùng khảng khái trước những lời vu cáo của Tần Cối, ông thở dài:
– Nếu ta rơi vào tay Tần Cối, tấm lòng báo quốc của ta sao có thể thực hiện được!
Nhạc Phi là danh tướng trong cuộc kháng chiến chống quân Kim, cái án này rất lớn, không ai dám thẩm tra. Tần Cối đành giao ông cho Vạn Sĩ Khiết xử lý. Vạn Sĩ Khiết đưa ra một số chứng cứ giả, tất cả đều bị Nhạc Phi dùng sự thực bác bỏ. Vạn Sĩ Khiết vểnh râu trợn mắt, đập bàn, quát:
– Cha con ngươi và Trương Hiến đã muốn làm phản, không cung khai sẽ dùng hình!
Hắn dùng đủ loại hình cụ cũng không thể buộc Nhạc Phi nhận tội. Vạn Sĩ Khiết nói Nhạc Phi, Nhạc Vân và Trương Hiến đã từng viết thư cho nguời khác, bàn kế làm phản. Nhạc Phi yêu cầu hắn đưa bức thư tới đối chất, Vạn Sĩ Khiết nói thư đã hủy mất rồi. Cứ như vậy, tra đi xét lại suốt hơn hai tháng không làm thế nào buộc được tội cho Nhạc Phi. Thấm thoắt thoi đưa, mùa đông đã tới, cha con Nhạc Phi và Trương Hiến bị giam trong nhà lao trống trải, bốn bề gió rét như cắt. Họ không có áo ấm, gió rét căm căm. Mọi người nghe nói cha con Nhạc Phi bị giam trong ngục, không thể tin ông mưu phản đều cho rằng ông bị kẻ xấu hãm hại. Nhiều nguời tự ý mang áo ấm, chăn đệm và các loại thức ăn xin được gặp Nhạc Phi. Nhưng Tần Cối hạ lệnh mang tất cả những thứ mọi người cho Nhạc Phi gom lại, còn bắt bớ một số nguời muốn thăm Nhạc Phi. Vạn Sĩ Khiết còn vu cáo trong một lần chi viện cho chiến dịch Hoài Tây, Nhạc Phi đã hành động chậm trễ có thể khép ông vào tội sơ xuất việc quân cơ. Tần Cối lập tức cho nguời truy tìm ngày Hoàng đế hạ chiếu thư và ngày Nhạc Phi hành quân, nhưng cũng không phát hiện ra vấn đề gì, cho nên tội danh vẫn chưa định được. Tần Cối vẫn còn âm mưu nhưng chưa biết làm sao trị tội.
Buổi sáng ngày 19 tháng 12 năm Thiệu Hưng thứ 11 (1141), Tần Cối từ triều trở về, nằm bên lò sưởi ấm áp, vừa bóc cam ăn, vừa suy tính làm sao để có thể hại được Nhạc Phi. Hắn suy đi tính lại không biết bao nhiêu là cách, lòng như lửa đốt. Cam ăn đã hết, vỏ cam cũng đã bị xé thành nhiều mảnh nhỏ. Lúc đó, vợ hắn là Vương thị bước vào. Mụ là nguời đàn bà nham hiểm chẳng khác gì chồng, thấy Tần Cối đang lo nghĩ, mụ cười nham hiểm, vẻ bí mật, nói:
– Ta nói để ông nghe, sao ông ngày càng u mê thế, bắt hổ thì dễ, thả hổ mới khó đấy!
Lời của mụ có ý xui đem Nhạc Phi ngầm giết đi.
Được Vương thị gợi ý, Tần Cối quyết định không thẩm tra Nhạc Phi nữa. Hắn viết một bức thư cho Giám ngục bảo Giám ngục giết chết Nhạc Phi. Đêm hôm ấy, Nhạc Phi bị hại, ông chết khi mới 39 tuổi. Sau đó, Nhạc Vân và Trương Hiến cũng bị giết hại. Nhân dân Lâm An nghe tin Nhạc Phi bị hại khóc ròng thương xót, vô cùng căm phẫn nhưng đành bất lực. Một số nguời lập hương án đem những vật phẩm chuẩn bị tế lễ thần thánh, tổ tiên tế Nhạc Phi. Hàn Thế Trung đã bị bãi miễn nghe tin Nhạc Phi bị hại, tới trách hỏi Tần Cối Nhạc Phi phạm tội gì? Chứng cứ đâu? Tần Cối trả lời:
- Thư của cha con Nhạc Phi và Trương Hiến không còn, nhưng việc mưu phản là “mạc tu hữu” (ý nói “hoặc hứa hữu”, không cần có).
Nghe xong, Hàn Thế Trung vô cùng căm phẫn, nói:
- Cái tội “mạc tu hữu” này sao mọi người trong thiên hạ nghe cho được?
Cái chết oan của Nhạc Phi mãi tới đời Tống Hiếu Tông mới được chiêu tuyết, hoàn toàn khôi phục danh dự, ông được truy tặng “Vũ Mục”. Từ đó, nguời đời gọi ông là “Nhạc Vũ Mục Vương”. Đến đời Minh, có nguời dùng sắt đúc tượng bốn kẻ là Tần Cối, Vương thị, Vạn Sĩ Khiết và Trương Tuấn (3) đang quỳ trước mộ Nhạc Phi để nhận tội. Mấy trăm năm nay, những du khách ngưỡng mộ Nhạc Phi đều tới trước mộ ông thể hiện sự sùng kính vô hạn và lên án những kẻ gian nghịch.