Trong giờ phút nguy cấp đó, người đầu tiên đứng lên chống lại An Lộc Sơn là Nhan Quả Khanh, thái thư quận Thường Sơn (nay là Chính Định, Hà Bắc). Nhan Quả Khanh vốn là cấp dưới của An Lộc Sơn. Sau khi An Lộc Sơn nổi loạn, Nhan Quả Khanh Liền chuẩn bị chống lại. Khi quân nổi loạn tiến đến Cảo Thành (thuộc tỉnh Hà Bắc ngày nay), Nhan Quả Khanh đã chiêu mộ được hơn 1000 tráng sĩ. Ông biết rằng lực lượng của mình không đủ, không thể trực tiếp giao chiến với An Lộc Sơn, liền cùng 1 quan chức cấp dưới là Viên Lý Khiêm giả hàng. An Lộc Sơn vẫn cho ông giữ Thường Sơn, nhưng không an tâm lắm, liền bắt Nhan Quả Khanh đưa con trai và cháu đến quân doanh làm con tin, 1 mặt cử 1 tướng đến giữ Tỉnh Hình Quan (nay là Tỉnh Hình, Hà Bắc). An Lộc Sơn vượt qua Hoàng Hà, đánh chiếm Lạc Dương xong thì Nhan Quả Khanh quyết tâm khởi binh. Người em họ của ông là Nhan Chân Khanh, thái thú quận Bình Nguyên (nay là Bình Nguyên, Sơn Đông) cũng chiêu mộ được hơn 1 vạn người ngựa, phái người đến liên lạc với Nhan Quả Khanh, đề nghị ông đánh chiếm Tỉnh Hình Quan, cắt đứt hậu phương của An Lộc Sơn.

Nhan Quả Khanh dò biết tên tướng giữ Tỉnh Hình Quan là 1 con sâu rượu, liền giả truyền lệnh của An Lộc Sơn, phái người đem rượu ngon và thức nhắm tốt để khao quân. Đợi tới khi toàn bộ quân tướng của hắn đều say nghiêng ngả mới bắt giết hắn và chiếm Tỉnh Hình Quan. Sau khi chiếm được Tỉnh Hình Quan, sĩ khí trong quân Nhan Quả Khanh lên cao, ngay ngày hôm sau lại bắt sống được 2 viên tướng trong đội quân nổi loạn. Nhan Quả Khanh phái người đi nói với quan lại khắp các quận Hà Bắc: "Nay triều đình đã cử ba mươi vạn đại quân đi thảo phạt An Lộc Sơn, đã ra khỏi Tỉnh Hình Quan, sớm muộn sẽ tới các quận Hà Bắc. Những ai bị An Lộc Sơn buộc đi theo làm phản nếu sớm đầu hàng thì được trọng thưởng, nếu dám chống lại thì tội càng nặng".

Quan chức các quận Hà Bắc nghe nói An Lộc Sơn sắp nguy, đều đua nhau hưởng ứng Nhan Quả Khanh. Vùng Hà Bắc có 24 quận thì 17 quận đã đứng về phía triều đình. An Lộc Sơn đang định tiến vào Đồng Quan thì nghe tin các quận Hà Bắc đã hưởng ứng lời kêu gọi của Nhan Quả Khanh, hậu phương không còn ổn định nữa. Hắn đành thay đổi ý định, quay trở lại Lạc Dương. Về tới Lạc Dương, hắn liền xưng là hoàng đế Đại Yên, phái đại tướng là Sử Tư Minh và Thái Hy Đức mỗi người dẫn 1 vạn quân, chia 2 đường tiến đánh Thường Sơn. Nhan Quả Khanh tuy thắng trận đầu, nhưng mới khởi binh được 8 ngày, công sự phòng ngự ở Thường Sơn chưa chuẩn bị tốt, quân số lại ít nên chống không nổi 2 cánh quân thiện chiến của An Lộc Sơn. Quân phản loạn tiến sát chân thành, Nhan Quả Khanh phái người tới Thái Nguyên xin cứu viện, nhưng tướng giữ Thái Nguyên là Vương Thừa Nghiệp không chịu xuất binh. Sử Tư Minh vây chặt Thường Sơn, Nhan Quả Khanh chỉ huy quân dân Thường Sơn chống giữ hăng hái trong suốt 4 ngày đêm. Trong thành không còn lương thực, tên bắn cũng hết. Thường Sơn cuối cùng lọt vào giặc. Sử tư Minh cho quân giết hại hơn 1 vạn quân dân Thường Sơn rồi bắt giải Nhan Quả Khanh, Viên Lý Khiêm về Lạc Dương, trình lên An Lộc Sơn. An Lộc Sơn sai lính giả Nhan Quả Khanh tới trước, trách mắng: "Ngươi vốn chỉ là một viên quan nhỏ ở Phạm Dương, ta đã phong cho làm thái thú, tại sao còn dám phản bội lại ta?".

Nhan Quả Khanh nổi giận đùng đùng nói: "Mày là một thằng chăn dê, nhà nước cho mày làm tiết độ sứ ba trấn có bạc đãi gì mày mà mày khởi binh làm loạn? Ta vì nước trừ gian, chỉ giận không chém được đầu mày, sao nói được là phản bội?".

An Lộc Sơn thẹn quá nổi khùng, thét lính lôi Nhan Quả Khanh và Viên Lý Khiêm ra trói vào cột, đánh đập tàn nhẫn. Nhan Quả Khanh vẫn đường hoàng lẫm liệt, vừa cố chịu đòn đánh, vừa lớn tiếng chửi mắng An Lộc Sơn. Lính của An Lộc Sơn dùng dao cắt đứt lưỡi Nhan Quả khanh. Tuy máu chảy đầy mặt, ông vẫn nhìn thẳng vào An Lộc Sơn và ú ớ chửi mắng. Viên Lý Khiêm nhìn thấy tình cảnh Nhan Quả Khanh chịu hình phạt thảm khốc như vậy thì rất giận, tự mình cắn đứt lưỡi rồi phun cả miếng lưỡi và máu vào mặt 1 tên tướng đứng gần. Nhan Quả Khanh, Viên Lý Khiêm tiếp tục chửi bới giặc cho đến chết. Từ lúc khởi binh cho đến khi thất bại, tuy chỉ có mười mấy ngày, nhưng sự đề kháng của Nhan Quả Khanh đã kìm giữ được binh lực của giặc, khiến triều đình có đủ thời gian điều binh khiển tướng. Tinh thần quả cảm cho tới chết của họ đã cổ vũ rất nhiều người đứng lên chống lại quân phiến loạn. Một tháng sau khi Nhan Quả Khanh bị giết, tiết độ sứ Hà Đông là Lý Quang Bật chỉ huy hơn 1 vạn bộ binh và kỵ binh cùng hơn 3000 cung thủ ở Thái Nguyên tiến ra Tỉnh Hình Quan, đánh lui quân phiến loạn, thu phục được Thường Sơn. Tiếp đó, tiết độ sứ Sóc Phương là Quách Tử Nghi cũng dẫn binh đến Thường Sơn hội họp với Lý Quang Bật. Nhân dân vùng Hà Bắc đã chịu nhiều thống khổ do sự cướp bóc của quân phiến loạn, nghe tin quân của Quách Tử Nghi và Lý Quang Bật tới, liền tự động tập hợp lại, xây thành đắp lũy chuẩn bị chống lại quân phiến loạn và nô nức tham gia vào quân triều Đường. Hai đội quân của Quách Tử Nghi và Lý Quang Bật có sức chiến đấu mạnh mẽ, tinh thần hăng hái, liên tiếp đánh bại quân An Lộc Sơn. Mười mấy quận Hà Bắc lại về tay quân triều đình.

Chiến thắng ở Hà Bắc đã làm quân phiến loạn mất hậu phương, tinh thần bắt đầu hoang mang. An Lộc Sơn hoảng hốt, trách các mưu sĩ Cao Thượng, Nghiêm Trang: "Mấy năm nay các ngươi vẫn khuyên ta khởi binh chống triều đình, cho đó là kế sách vẹn toàn. Mà nay thì ở phía tây, đánh Đồng Quan mấy tháng không hạ được, ở phía bắc thì bị cắt đứt đường về. Chúng ta cứ khốn khổ giữ ở đây, sao gọi được là vẹn toàn!".

Hắn toan bỏ Lạc Dương, chạy về Phạm Dương. Chính trong lúc An Lộc Sơn tiến thoái lưỡng nan, thì những kẻ cầm quyền trong vương triều Đường lại mở toang cánh cửa Đồng Quan cho quân địch tiến vào Trường An.