最开始，李广的堂弟李蔡和他一起侍奉孝文帝。景帝在位时，李蔡积累功劳升至二千石级别的官位。孝武帝在位时，官至代国的国相。李蔡在元朔五年（前124年）任轻车将军，跟随大将军卫青进攻匈奴右贤王，凭借斩获敌人首级符合规定数额而立功，被封为乐安侯。元狩二年（前121年）间，他取代公孙弘为丞相。李蔡的才干在中等偏下列，名声和李广相差很远，然而李广却没有得到封爵和采邑，官职也不超过九卿，可是李蔡却被封为列侯，官至三公。李广麾下的军官和士兵也有人封侯。李广曾经与会观察天象的方士王朔私下闲谈，说：“自从汉朝攻打匈奴以来，我没有一次不参与其中，然而各部队校尉以下的军官，才能赶不上中等人，却凭借跟胡人打仗立功而被封侯的有几十人，可是我不比别人差，然而没有一点功劳来获得封爵和采邑，为什么呢？难道我的面相决定就不该封侯吗？还是命中注定的呢？”王朔说：“将军自己想一想，难道曾经有过让你悔恨的事情吗？”李广说：“我曾经担任陇西太守，羌人曾经反叛，我诱降了他们，投降的有八百多人，我欺骗了他们并在同一天将其全部杀死。至今认为最大的悔恨就是这件事而已。”王朔说：“祸患没有比杀害已经投降的人更大的了，这就是将军不能封侯的原因。”

此后两年，大将军卫青、骠骑将军霍去病率领大军出击匈奴，李广多次亲自请求随行。天子认为他老了，没有批准；过了好久才答应他，任命他为前将军。这一年，是元狩四年（前119年）。

李广跟随大将军卫青进攻匈奴，已经出了边塞之后，卫青捉到一个俘虏得知单于居住的地方，于是亲自率领精锐部队朝那里进发，并命令李广所部并入右将军的部队，从东路出发。东路稍有些绕远，而且大军行进之处的水草又少，在这种形势下不能驻扎。李广亲自请求说：“我的职务是前将军，现在大将军却改令我从东路出发，况且我从成年后就和匈奴交战，直到今天才得到一次能够遇上单于的机会，我希望打头阵，率先与单于决一死战。”大将军卫青也私下里接受过皇上的告诫，认为李广年老，命数不好，不要让他与单于对阵，担心不能获得成功。当时公孙敖刚丢了列侯的爵位，担任中将军之职跟随大将军，大将军也打算让公孙敖和自己一起与单于对阵，所以调走了前将军李广。李广当时知道这件事，坚决推辞大将军的指派。大将军没有听从，命令长史写信送到李广的幕府，说：“赶快到部队里报到，照信上所写的办。”李广没有向大将军告辞就出发了，心里带着很大的怨气前往军营，带领士兵与右将军赵食其汇合从东路出发。军队没有向导，有时会迷路，落在了大将军的后面。大将军与单于交战，单于逃跑了，没有捉到而回营了。大将军向南横穿沙漠，遇到了前将军李广和右将军赵食其。李广拜见大将军后，回到营中。大将军派长史带着干粮和浊酒送给李广，顺便询问李广、赵食其迷路的事情，卫青要上书向天子禀报军中的详细情况。李广没有回答，大将军派长史催促李广幕府的人员去接受调查。李广说：“众校尉没有罪，是我自己迷路了。我现在亲自去接受调查。”

到了大将军幕府，李广对他的部下说：“我成年后与匈奴交战大小七十多次，现在有幸跟随大将军出征和单于交战，然而大将军却调我的部队去走绕远的路，并且又迷了路，难道不是天意吗！况且我已经六十多岁了，终究不能再受那些舞文弄墨的小吏的侮辱了。”于是拔刀自刎而死。李广部队的官兵都哭了。百姓听说了这件事，不论认识或不认识李广的，不论年老还是年少的，都为李广落泪。右将军赵食其单独被交给法官处办，应当处死，后来出钱赎罪贬为平民。

李广有三个儿子，分别叫李当户、李椒、李敢，都是郎官。天子与韩嫣嬉戏，韩嫣行为有些放肆，李当户就打了韩嫣一顿，韩嫣跑了。于是天子认为李当户很勇敢。李当户年纪轻轻就死了，皇上又任命李椒为代郡太守，两个人都比李广死得早。李当户有个遗腹子名叫李陵。李广在军中自杀时，李敢正跟随骠骑将军霍去病。李广死后的第二年，李蔡以丞相身份因侵占孝景帝陵园的外围空地而获罪，应该交给法官判处，李蔡也自杀了，不愿意接受审讯，封国也被削除。李敢以校尉的身份跟随骠骑将军进攻匈奴左贤王，奋力作战，夺得了左贤王的旌旗和战鼓，斩获很多首级，被赐予关内侯的爵位，封赏食邑二百户，接替李广担任郎中令。过了不久，李敢怨恨大将军卫青让他父亲含冤而死，就打伤了大将军，大将军把这件事隐瞒下来。没过多久，李敢跟随皇上去雍县，到甘泉宫附近打猎。骠骑将军霍去病和卫青有亲戚关系，就射死了李敢。霍去病正值显贵受宠之时，皇上就隐瞒真相说李敢是被一只鹿撞死的。过了一年多，霍去病去世了。李敢有个女儿是太子宫中的侍女，受到宠幸，李敢的儿子李禹也受到太子的宠爱，然而他贪图财利，李家一族逐渐败落了。

李陵长到壮年以后，被选任为建章营的监军，监督各部骑兵。他善于射箭，爱护士兵。天子认为李家世代为将，就让他就带领八百名骑兵。他曾经深入匈奴地区二千多里，经过居延海视察地形，没遇到匈奴敌军就回来了。后来任命他为骑都尉，率领丹阳的楚军五千人，在酒泉、张掖教习射箭，驻守在那里来防御匈奴。

几年后，天汉二年（前99年）秋天，贰师将军李广利率领三万名骑兵在祁连山和天山一带进攻匈奴右贤王，而派李陵率领他的弓箭手、步兵五千人，从居延海出发向北行进了大约一千多里，想借此分散匈奴的兵力，不让他们专门追击贰师将军。李陵按照期限往回走，然而单于用八万大军围攻李陵的军队。李陵的军队五千人，箭已经用完了，士兵死了一多半，然而他们杀伤的匈奴也有一万多人。他们边退边战，连续搏斗了八天，在距离居延海还有一百多里的地方，匈奴军队堵住狭窄的山谷截断了去路，李陵的军队缺少粮草，而且救兵不来，敌人对李陵加紧了进攻和招降。李陵说：“我没有脸面去回报陛下了。”于是投降了匈奴。他的军队全被消灭了，剩余逃回到汉朝的有四百多人。

单于得到了李陵，平时就听说过他们家族的声望，作战时又很勇勐，于是把自己的女儿嫁给李陵来提高他的地位。汉朝听说了，就把李陵的母亲、妻子、儿女全家灭族了。从此以后，李家的名声就败落了，并且陇西曾做过李家宾客的人士都因此感到耻辱。

太史公说：《论语》上说“自身行为端正，不下命令人们也会去遵行；自身行为不正，即使下了命令人们也不会听从”。大概说的就是李将军吧？我看到李将军谦恭忠厚的样子像个乡下人，开口不善言辞。在他死的那天，天下认识或不认识他的，都为他感到伤心。他忠实的品性真的得到士大夫的认可了吗？谚语说“桃树李树不会说话，树下自然踩出小路”。这句话虽然说的是小事，却可以用来讲述大道理。