Lý Quảng tòng quân từ tuổi thiếu thời, suốt đời chống trả Hung Nô. Ông tác chiến dũng mãnh, diệt được nhiều giặc, nên được Hán Văn Đế rất khen ngợi. Mấy năm sau, Hán Cảnh Đế lên ngôi, ông được phong làm Kỵ Lang Tướng, trở thành tướng quân kỵ binh hộ vệ bên cạnh Hán Cảnh Đế. Khi Ngô Vương và Sở Vương nổi loạn, Lý Quảng lúc đó với quan chức là kỵ binh Đô úy đã cùng Thái úy Chu Á Phu đi dẹp loạn, ông cướp được quân kỳ của quân phiến loạn dưới chân thành Xương Ấp, lập nên chiến công hiển hách. Sau khi dẹp loạn xong, Lý Quảng được điều đến làm Thái thú ở miền biên thùy tây bắc, để chống trả sự xâm lấn của Hung Nô.

Có một lần, Hung Nô tấn công vào Thượng Quận, Hán Cảnh Đế cử một người thân cận đến giúp Lý Quảng, trong khi người này cùng mười tên vệ sĩ ra ngoài dạo chơi thì chạm trán với ba kỵ binh Hung Nô, đám vệ sĩ đều bị bắn chết, còn viên thân tùy cũng bị trúng tên đang tháo chạy. Lý Quảng được tin bèn dẫn trăm kỵ binh ra cứu ứng, ông bắn chết hai tên Hung Nô, còn một tên bị bắt sống, nhưng khi ông vừa buộc tên tù binh lên ngựa, thì bỗng thấy mấy nghìn kỵ binh Hung Nô kéo tới, chúng chiến lĩnh trên một gò đất cao, các binh sĩ của Lý Quảng thấy vậy toan thúc ngựa bỏ chạy, Lý Quảng thét bảo rằng: "Chúng ta hiện cách xa đại quân những mười dặm, chạy thì tất chết, nếu ta không chạy thì bọn chúng sẽ lầm tưởng ta bày kế dụ địch, mà không dám tấn công chúng ta". Sau đó ông dẫn quân sấn vào đám kỵ binh Hung Nô, khi hai bên cách nhau chừng hai dặm, ông ra lệnh cho quân lính xuống ngựa, tháo bỏ yên cương. Quân Hung Nô thấy vậy chẳng hiểu ra sao, vội cử một tên sĩ quan ra thám thính, Lý Quảng phi ngựa ra trước trận, giương cung bắn chế tên này rồi ung dung quay ngựa trở về. Đến nửa đêm hôm đó, bọn Hung Nô nghi ngờ quân Hán sẽ đến tập kích, nên vội rút quân về.

Năm 140 trước công nguyên, Hán Võ Đế lên nối ngôi, lại điều Lý Quảng làm Vệ úy ở Vị Ương. Bốn năm sau, Khi Lý Quảng dẫn quân ra Nhạn Môn Quan, thì bị quân Hung Nô đông hơn gấp bội bao vây, vua Hung Nô vốn hâm mộ oai danh của Lý Quảng, nên ra lệnh cho quân lính bắt sống ông. Lý Quảng bị bắt làm tù binh, nhưng trên đường áp giải, ông đã phi thân đoạt ngựa quân địch, bắt chết nhiều tên kỵ binh đuổi theo, rồi cuối cùng trở về dinh quân Hán. Từ đó, ông được Hung Nô đặt danh hiệu là "Phi tướng quân của quân Hán". Sau khi về triều, Lý Quảng bị vua Hán cách quân chức, giáng xuống làm thứ dân.

Mấy năm sau, Hung Nô giết chết thái thú Liêu Tây, đánh bại tướng quân Hàn An Quốc. Hán Võ Đế lại phải nhiệm dụng Lý Quảng đến làm Thái thú Hữu Bắc Bình, quân Hung Nô được tin "Phi tướng quân" trấn giữ ở Hữu Bắc Bình, trong mấy năm trời không dám bén mảng tới.

Năm 120 trước công nguyên, Lý Quảng dẫn 4 nghìn kỵ binh tấn công Bắc Bình, phối hợp với Trương Khuyên đánh vào Hung Nô. Khi đoàn quân vừa đi được mấy trăm dặm thì đột nhiên bị Tả hiền vương Hung Nô dẫn 40 nghìn kỵ binh bao vây, quân Hán bị thiệt hại quá nửa, mà tên cũng đã bắn gần hết. Lý Quảng lệnh cho quân sĩ chỉ giương cung chứ không bắn, còn mình thì liên tục bắn chết mấy tướng lĩnh của Hung Nô, khiến quân Hung nô vô cùng hoảng sợ, không dám manh động. Hôm sau, chủ lực quân Hán kéo đến giải thoát Lý Quảng ra khỏi trùng vây.

Năm 119 trước công nguyên, khi đại tướng Vệ Thanh dẫn quân tiến đánh Hung Nô, Lý Quảng lúc đó đã hơn 60 tuổi cũng tham gia chiến dịch này. Vệ Thanh hỏi tù binh nắm được nơi trú quân của vua Hung Nô, ông muốn tự mình lập công, bèn ra lệnh cho Lý Quảng làm tiên phong dẫn quân đánh về hướng đông, còn mình thì chỉ huy quân đuổi bắt vua Hung Nô. Lý Quảng thấỵ đánh chẳng có kết quả gì, bèn hợp quân với đại tướng Triệu Thực Kỳ rời hướng đông, nhưng vì đường rất khó đi lại không có hướng đạo, nên bị lạc đường. Bấy giờ, Vệ Thanh đánh vào nơi trú quân của Hung Nô, vua Hung Nô trốn thoát. Vệ Thanh không lập được công cán gì, trên đường rút quân về thì gặp cánh quân của Lý Quảng. Vệ Thanh cử người đem rượu thịt đến khao thưởng Lý Quảng, và hỏi rõ nguyên do bị lạc đường. Khi Vệ Thanh gặp Thiên tử liền đổ hết tội để vua Hung Nô trốn thoát lên đầu tướng quân Triệu Thực Kỳ, nhưng bị Lý Quảng cựm lực phản đối. Vệ Thanh tức tối liền sai người đến sức quan viên thuộc hạ của Lý Quảng đến trung quân hỏi tội. Lý Quảng nói: "Các ông có tội gì, việc bị lạc đường là tại tôi, vậy tôi tự đi chịu tội". Khi người của Vệ Thanh vừa đi khỏi, Lý Quảng nhìn các bộ tướng đã vào sinh ra tử với mình trong nhiều năm, bèn ngửa mặt than rằng: "Tôi tòng quân từ thuở niên thiếu, đánh với Hung Nô có hơn 70 trận lớn nhỏ, ngờ đâu lại bị đại tướng quân quá bức như vậy, nay tôi tuổi đã hoa râm, thật không thể nào chịu được nỗi nhục này ". Lý Quảng nói xong liền rút kiếm tự sát.