匈奴惧怕李广。李广成为右北平郡太守后，匈奴不敢侵犯这个地方达数年之久。汉之飞将军——匈奴人如此称呼他。
实际上，匈奴之所以暂时停止蠢动，不只是害怕李广，另一方面也因自己内部起了纷争。
匈奴王军臣单于之死是元朔三年之事。
军臣单于之弟伊稚斜遂自称单于，攻打军臣单于之子于单。一场叔侄斗争于焉发生，结果于单被打败，亡命至汉。
张骞在这一年回国。
在现今敦煌附近，往昔有过一个名叫月氏的国家。关于“月氏”，可谓诸说纷纭，依据一般的看法，这大概是属于斯基泰系民族。由于受到匈奴之袭击，月氏王被杀，月氏之民被迫向西方逃离。
匈奴之单于（王）杀害了月氏王，并以其头颅作为酒杯。这对月氏而言是莫大的屈辱。所以，被赶至西方的月氏国人民，无一不发愤图强，矢志报仇。
武帝因此决定与月氏联盟，合力攻讨匈奴。张骞就是在这个目的之下被派遣的使者。
然而，要到月氏国，非经过匈奴领域不可。张骞率领一个名叫甘父的匈奴人以及百余名部下从陇西（甘肃省）启程往西，结果一下子就为匈奴所擒。
当时的匈奴王军臣单于对张骞道：“想到月氏国？月氏国在我国的那一边，你以为我会准许你们通过此地吗？你想想看，如果我要派使者到越国，汉皇帝会准许我的使者通过汉吗？同样的道理，你别想通过我的国土。”
越乃泛指中国南方。
张骞在匈奴被扣留达十数年之久。匈奴替他成亲，并生下孩子。虽说被扣留，实际上接受的是客卿待遇，连家庭都建立了起来，张骞因此装出对现状非常满意的样子。
“没想到在此地得到妻儿，本人已心满意足。”
张骞逢人便说这句话，实际上这是为了使匈奴心生大意的计策。果然，匈奴对他的看管越来越松弛。后来，在一个机会下，他成功地和家人、甘父和部分部下逃出匈奴国。
往西奔跑数十日后，抵达一个叫大宛的国家。这是中亚的菲尔迦那地区。这个国家的国王很会做生意，由于素闻汉土之富裕，因而企图借善待张骞打开日后与汉的交易之途。他特地派向导和通译人员，经由康居国，送张骞至月氏国。
被匈奴由敦煌地区赶出的月氏人民，在西方找到的安身立命之处是奥古塞斯河之北——现时乌兹别克共和国之布哈拉至撒马尔罕的一片富庶沙漠绿洲。他们更征服了在阿富汗北部的大夏。
这一带的土地相当肥沃，附近更无强敌。他们对现状非常满意，逐渐丧失了对匈奴报复的念头。
张骞再怎么怂恿与汉结盟，他们还是以如下理由坚持拒绝：“汉与我们相去甚远，而匈奴并无攻打我们月氏国的迹象。与一方结盟，便形同与另一方为敌。这违背我国的外交方针。”
滞留一年多，未见结盟成立，张骞只有死了这条心归国。归途中为求慎重，他避开匈奴，走的是藏人之地，但还是为匈奴发现而被拘捕。
张骞再度为匈奴扣留，大约一年后，军臣单于去世而发生前述继位之争。他遂趁混乱，与匈奴妻子和甘父一起逃回汉。
这时离最初出发已十三年。百余人的一行中，回来的只剩两个。
虽然未能达成与月氏结盟这个目的，但过去对西方情形只略知一二，由于张骞之行，而进展为大致明了的程度。
除了张骞亲身走过的土地以外，汉更得知他在当地耳闻的有关条支（叙利亚）、黎轩（亚历山大）以及身毒（印度）等地的事情。
这位大旅行家后来以校尉身份从军讨伐匈奴。通过长年旅行和滞留匈奴国的经验而熟知水草所在的他，成为汉军不可多得的向导，军队得以行动自如。他因此功受封为博望侯。
元狩二年（公元前121年），运气不佳的将军李广与博望侯张骞为了攻讨匈奴，共同由右北平出发。
这一年，李广的堂弟李蔡为丞相。这是行政机构的最高位阶。李蔡和李广一起长大，两人曾经一同出仕于文帝之下。堂弟李蔡在才华上差自己一大截——李广对这一点知道得很清楚。而李蔡却晋升得非常迅速，现在居然成为丞相！
“我的运气实在不好！”他又叹息着发出这句牢骚。
“是不是因为我面相不好的关系呢？”
他毕竟是当时的人，对面相一时颇为看重，故求助于相学权威。当时有一个名叫王朔的人以“望气”（看气色而判断命运）闻名。李广问此人道：“自从汉与匈奴开启战端以来，我可以说无役不参加。但不知道为什么，我从来没有立过大功。才华明显比我差许多的人却逐一因战功而受封为侯，因对匈奴战争而被封侯的人前后已达数十人之多，我却迟迟没有这个机会。难道这就是我的命运吗？”
对此，王朔反问道：“将军可曾做过亏心事？”
李广于担任陇西太守时代，曾经说服造反藏族归顺，后来却将这八百余人悉数杀戮。他认为自己做过的亏心事仅此一件。听完李广的告白后，王朔颔首道：“杀害业已归顺的人，此罪非同小可，受报应乃当然之事。”
与张骞共同出阵的元狩二年之后，对李广而言又是一次噩运。他率领四千骑兵先行出发，张骞则率领一万骑直追其后。
李广所率领的四千骑兵，为匈奴左贤王率领的四万骑所包围，全军为之惊慌。李广将数十骑精兵授予跟随从军的儿子李敢，命令道：“你去侦察匈奴阵中情形。”
李敢疾驱匈奴阵中后，回来报告：“敌军只是为数庞大，不足为惧。”
通过匈奴大军之中而平安无事，这一点就是最大的佐证，将兵因而相信他的话，认为匈奴军不值得畏惧。
实际上，匈奴军队是精锐大军，李敢穿越其中而平安归来，完全是靠他的胆识。李广是想借此去除全军之恐惧心。
李广于是以圆阵对付四万骑敌军包围。
李广最拿手的是肉搏战。以猎虎为例，他一定要让老虎来到近处才射箭。
——越接近越能使对方受到重创。
这对他来说是自然之理。但从另一观点而言，这是极其危险的事情，李广就因此而常被老虎抓伤。
这次战役他也是为了等敌军更形接近，故迟迟不发下“射击”命令。等到敌军前来肉搏时，方才下令，虽使对方受到重大创伤，但汉军自己也折损了不少士兵。
激战两日后，汉军已折兵大半。
博望侯张骞率领的一万骑终于在这时候出现，匈奴军因而撤除包围后退。
虽然不算打败仗，但情形差不了多少。主要责任在于未能如期抵达的张骞，这一点应属死罪。张骞遂以巨款赎罪，官爵均被剥夺，降为庶人。
虽然李广奋勇作战，但以阵亡人数过多为理由，被判“功过相抵”，虽不致问罪，但也未被列入叙奖名单之中。
“我的运气实在不好！”李广又一次仰天长叹。
“李广的确有军事才能，不过，他是个扫帚星，这种人绝不能用。”两年后的元狩四年（公元前119年），于征讨匈奴出发之际，武帝再三交代大将军卫青。
李广“运道不佳”之事，不是只有他自己在怨叹，连所有的人都知道。
李广已是年迈之人，内心感觉万分焦躁。他绝不愿自己的一生就如此结束，这样太凄惨了。每次有征战之议时，这位运气不佳的老将军都表示了从军意愿。武帝屡次置之不理，但每次都拗不过他的恳求，最后还是准许了：“你想去就去吧！”虽然如此，武帝对总司令官卫青则不会忘记做前述交代。因为李广的确是个扫帚星！
李广一心一意想要恢复自己的名誉。打仗是他唯一的生命意义。三个儿子当中，长子当户和次子椒都夭折，膝下只剩幼子敢。这位老将军在家庭方面，也是运气不佳的人。
这个时代，对匈奴战争的主角已由大将军卫青慢慢变为更年轻的霍去病。霍去病是卫青姐姐的儿子。骠骑将军霍去病由定襄出发攻打匈奴时，曾经由俘虏口中听到单于在东方的消息，因而决定到代郡，卫青则到定襄。李广这时候才如愿以偿，以前将军身份出征。
——绝不可用李广这个扫帚星。
武帝如此交代卫青之事，李广当然不知道。
卫青经由对俘虏的讯问和得自间者的报告，知道单于的所在地后，就决定与中将军公孙敖率兵急速前往。同时，他命令前将军李广和右将军赵食其走东道。
东道是极为迂回的途径，途上缺乏水草，在大军行军和扎营上都极为不便。与单于交战时，东道是翼部，不能投入主战场。
李广对这一点甚表不满：“大将军未免太有所偏袒了。”
卫青当年被陈皇后所派的人掳走，险些遇害时，带同伙伴前往救他的就是公孙敖。
两年前，公孙敖与霍去病由北地出击时，两人走不同的路，结果，公孙敖以未能及时协助作战之罪，丧失“合骑侯”这个爵位。卫青这次是有意给予救命恩人恢复名誉的机会。
正因为如此，李广格外愤慨。他认为这是假公济私。
实际上，即使没有这件事，由于武帝有所交代，所以李广也绝不可能受重用。
“由前将军担任前锋，这是常理。把我转到东道，这一点恕难接受！”老将军如此据理力争。
“老家伙这是在怄气。然而，战争绝不容许任何人耍性子。我说走东道，他就得走东道！”
大将军卫青于是派了幕僚到李广处，传达如下命令：依照指示行事。违抗军令者一律处死。
李广心不甘情不愿地率兵走东道前进。出发之前，他连到直属长官——大将军——面前报告一声都不肯。
“这个牛脾气的老家伙！”卫青摇摇头呢喃道。实际上，就这一次作战而言，李广是个累赘。
或许是不甘不愿出发的缘故吧！李广竟然在途中迷路了。像这样的时候应该由向导带路才对，而发过“塞外如我家庭院”豪语的李广却没有使用向导。
大将军卫青率领的主力军队虽与单于交战，主要目标单于却逃逸遁走。依据《史记·匈奴传》记载，此役中伊稚斜单于在数百名贴身卫队的保护下，侥幸突围逃往西北。匈奴于此役中损失将兵约二万。
倘若李广未迷途而来到主战场附近，汉军的包围态势应该更为彻底才对。卫青于归途中越过南方沙漠时，遇到了迷路的李广军队。
虽然单于逃逸，但以秋风扫落叶之势攻击匈奴的战果是辉煌的。这是一场大胜利。
卫青为了向皇帝做详细报告，要求李广到司令部叙述行军经过。
年轻时代曾经是奴隶的卫青是个饱经世故的人。这一次他也准备在报告中就李广迷途之事做适宜掩饰，以使老将军免受处罚。不过，这也得李广本人前来说明才做得到。
李广却认为被召唤是为了责问。
“我束发以来与匈奴交战达七十余次，今有幸在大将军之下与匈奴交锋，武将之荣幸莫此为甚，而大将军却将我的部署予以调动。更要命的是，我竟然迷途了。天下还有比我更倒霉的人吗？或许这是天命！我这年纪一大把的人，还能站在法吏面前接受审问吗！我只有认命了。”
李广便拔剑当场自刎。