Trong cuộc tiến công Cao Ly lần thứ nhất, quân Tùy bị đại bại. Hơn 1 triệu quân xuất chinh, chỉ còn chạy về được 2700. Thảm bại như vậy, nhưng Tùy Dạng Đế vẫn chưa thôi cuồng vọng. Ông lại thu góp lực lượng, phát động cuộc tiến công lần thứ 2, và đích thân chỉ huy đại quân tiến công Liêu Đông. Đại thần Dương Huyền Cảm được phân công lo việc vận chuyển lương thảo từ hậu phương Lê Dương ra mặt trận. Cha Dương Huyền Cảm là Dương Tố đã từng là người thân tín của Tùy Dạng Đế, giúp Dạng Đế rất đắc lực trong việc tranh giành ngôi hoàng đế. Nhưng sau lại bị Dạng Đế nghi ngờ, nên uất ức mà chết. Vì thế, Dương Huyền Cảm rất bất mãn với Tùy Dạng Đế. Lần này, thấy tình hình hỗn loạn, Dương Huyền Cảm muốn lợi dụng thời cơ để lật đổ Tùy Dạng Đế.

Lấy danh nghĩa đại thần phụ trách đôn đốc việc vận chuyển lương thảo, Dương Huyền Cảm ra lệnh điều động 8000 trai tráng làm phu và người chở thuyền để vận chuyển lương thực ra tiền tuyến Liêu Đông. Những thanh niên này rất chán ghét việc làm phu phen, lần này nghe tin phải đi lao dịch ra tiền tuyến nên đều hết sức phẫn nộ. Dương Huyền Cảm tập hợp đám dân phu đó lại, tuyên bố: "Đương kim hoàng thượng không đếm xỉa gì đến sự sống chết của trăm họ, buộc hàng ngàn hàng vạn người từ già cả đến trai tráng đi bỏ mạng ở Liêu Đông. Tình hình này không thể chịu đựng được nữa. Ta bị buộc phải làm việc này. Nay ta quyết tâm cùng mọi người vùng lên lật đổ bạo quân, các ngươi có dám theo ta không?".

Mọi người thấy có 1 đại thần dẫn đầu họ chống lại triều đình thì tất thảy đều tán thành, tiếng hoan hô vang dậy. Dương Huyền Cảm tổ chức 8000 người đó thành đội ngũ, phân phát vũ khí cho họ để chuẩn bị chống lại quân Tùy. Nhưng lúc đó, Dương Huyền Cảm thấy bên cạnh mình thiếu 1 người làm mưu sĩ để giúp việc bày mưu tính kế, liền nhớ tới 1 người bạn thân lúc đó đang ở Trường An. Người đó là Lý Mật. Ông cha của Lý Mật từng là quí tộc dưới triều Bắc Chu và triều Tùy. Khi còn thanh niên, Lý Mật đã được cử vào cung làm thị vệ cho Tùy Dạng Đế. Vốn tính tình linh hoạt hay tò mò, khi phục vụ Tùy Dạng Đế, Lý Mật hay nhìn ngang nhìn ngửa, nên bị Tùy Dạng Đế cho là không đáng tin cậy và thải ra khỏi hàng ngũ thị vệ. Lý Mật không buồn nản, về nhà liền vùi đầu đọc sách, quyết tâm là 1 kẻ sĩ.

Một hôm, Lý Mật cưỡi 1 con trâu đi thăm bè bạn. Dọc đường, không bỏ phí thời gian, ông buộc sách Hán thư vào sừng trâu để vừa đi vừa đọc. Đúng lúc đó, tể tướng Dương Tố đi xe ngựa từ phía sau vượt lên, thấy trước mặt có 1 thanh niên đang đọc sách trên lưng trâu thì lấy làm lạ. Dương Tố ngồi trên xe, hỏi sang: "Này cậu học trò kia, sao mà chăm chỉ thế?".

Lý Mật quay sang, nhận ra là tể tướng, liền vội vàng tụt từ lưng trâu xuống, vái chào Dương Tố và xưng rõ họ tên. Dương Tố hỏi: "Cậu đọc sách gì thế?".

Lý Mật thưa: "Kẻ thư sinh này đang đọc Hán thư, phần truyện kí về Hạng Vũ".

Dương Tố hỏi chuyện Lý Mật hồi lâu, nhận thấy chàng thanh niên này có hoài bão lớn. Về nhà liền nói với con là Dương Huyền Cảm: "Ta thấy học thức và tài năng của Lý Mật hơn mấy anh em con nhiều. Sau này có việc gì quan trọng, các con nên hỏi Lý Mật".

Từ đó, Dương Huyền Cảm giao du thân thiết với Lý Mật. Lần này cần tìm mưu sĩ, Dương Huyền Cảm nhớ tới lời dặn của cha, liền cử người về Trường An, đón Lý Mật tới Lê Dương. Khi Lý Mật tới, Dương Huyền Cảm hỏi về việc muốn đánh đổ Tùy Dạng Đế thì nên hành động thế nào. Lý Mật nói: "Có ba phương án hành động. Phương án thứ nhất: hiện nay Tùy Dạng Đế đang ở Liêu Đông, chúng ta đem quân lên phía bắc, chặn đường lui của hôn quân. Như vậy, chỉ không quá mười ngày, lương thực không được tiếp tế, phía trước có Cao Ly, phía sau ta trấn giữ, chúng tự khắc tan vỡ, ta không cần đánh cũng giành được thắng lợi. Đó là thượng sách. Phương án hai là đem quân về phía tây, chiếm lấy Trường An, là hậu phương của triều Tùy; nếu quân triều đình kéo về, ta sẽ lấy vùng Quan Trung làm căn cứ địa, dựa vào địa thế hiểm yếu mà giữ vững. Đó là trung sách. Phương án thứ ba là đánh chiếm Đông Đô Lạc Dương ở gần đây; nhưng đó chỉ là hạ sách, bởi vì Đông Đô còn một số quân triều đình đóng giữ, không chắc chắn chiếm nhanh được".

Dương Huyền Cảm vốn nôn nóng, muốn thành công ngay, nghe 3 phương án của Lý Mật, thấy 2 phương án đầu tốn thời gian quá, liền nói: "Tôi thấy hạ sách lại là phương án tốt. Hiện nay gia đình quân quan triều đình đều ở Đông Đô, chúng ta chiếm được Đông Đô, bắt hết gia đình của họ, thì lòng quân sẽ dao động, ta sẽ giành thắng lợi".

Dương Huyền Cảm liền điều quân từ Lê Dương tiến đánh Đông Đô. Trên đường tiến công, rất nhiều nông dân hăng hái tham gia quân khởi nghĩa, quân số tăng lên tới 10 vạn, đánh thắng liên tục mấy trận. Tùy Dạng Đế đang chỉ huy quân đội đánh dữ dội vào Liêu Đông, được tin cáo cấp, liền lui binh ngay trong đêm, phái đại tướng Vũ Văn Thuật cùng 1 số tướng khác chia đường tiến đánh Dương Huyền Cảm. Dương Huyền Cảm không chống nổi, muốn kéo quân về Trường An. Vũ Văn Thuật dẫn quân đuổi riết, vây chặt quân Dương Huyền Cảm lại. Dương Huyền Cảm hết đường chạy, cuối cùng bị giết. Lý Mật từ trong đám loạn quân chuồn ra, định trốn về Trường An, nhưng bị quân Tùy lùng bắt được. Tướng Tùy phái quân áp giải Lý Mật về chỗ Tùy Dạng Đế. Dọc đường, Lý Mật bàn với hơn 10 phạm nhân cùng bị áp giải, đem hết tiền bạc có trong người, hối lộ cho quân áp giải để chúng chè chén say sưa. Nhân lúc quân Tùy lơi lỏng, Lý Mật và các phạm nhân khác vượt tường trốn thoát.

Sau khi thoát vòng nguy hiểm, Lý Mật toan dựa vào 1 thủ lĩnh quân khởi nghĩa đang nổi lên ở miền bắc để tiếp tục chống lại triều Tùy. Nhưng 1 số thủ lĩnh nghĩa quân thấy Lý Mật là 1 thư sinh yếu đuối, nên tỏ ý coi thường. Lý Mật phải thay tên đổi họ, trốn tránh khắp nơi, mấy lần suýt bị quan quân triều đình bắt được. Cuối cùng nghe tin ở Đông Quận (nay ở phía đông huyện Hoạt, Hà Nam) có cánh quân khởi nghĩa ở trại Ngõa Cương, có binh lực rất mạnh, người đứng đầu là Trác Nhượng, rất trung hậu, thích kết giao với anh hùng hào kiệt, liền quyết định đến Đông Quận, đi theo quân Ngõa Cương.