在赵匡胤雄心勃勃的设想中，南北方的收复平定都是他必须要做的事情，他也深信自己可以一统天下。在将南方诸国收入囊中之后，北方政权成为他的新目标。
在十国之中，北汉是唯一处于北方的一个政权，它原本是由刘知远所建立的后汉延续而来。郭威推翻后汉建立后周之后，刘知远的弟弟刘崇盘踞在山西中北部，于公元951年，以十二州为自己的地盘称帝，建立北汉。
北汉地处偏僻而且土地贫瘠，虽然太原城走出来数位皇帝，但因国力衰微，刘崇也不得不向北方的辽国求援，与辽组成战略联盟。严格来说是以辽为自己的上国，效仿石敬瑭的行为，刘崇将辽帝称为叔皇帝，而他的继任者刘钧更是将其称为父皇帝，这么做的原因无外乎希望获得辽国的军事支援。
郭威在推翻后汉隐帝之后，曾经将刘崇的儿子刘赟立为皇帝，后又杀之。因为刘崇与后周有不共戴天之仇，在郭威时期和柴荣时期都发动过气势汹汹的战争，但分别在晋州和高平大败而归，严重地挫伤了北汉的元气，这两次战争都是借助了辽军的支援才得以进行。而失败之后的北汉也更为辽所不重视，只能在自己国内强征壮丁入伍，十七岁以上的男子统统被征兵，严重地妨碍了生产。繁重的兵役加上税赋，以及每年向辽的进贡，让百姓不堪重负。
代周建宋之后，赵匡胤对于北汉的态度曾经非常明朗，那就是不需要投入任何兵力。北汉向来都是依托在辽的翅膀荫蔽之下，作为北方除宋之外的政权存在着。而辽国的实力又强于宋，与其和北汉为敌导致辽国来袭，不如积聚实力，和辽国来一次彻底的战斗。如果能够击败辽，皮之不存毛将焉附，北汉也会轻松收复。
这种想法赵匡胤一直都在实践中，并且通过和辽国交好的策略，一度获得了北方边境的安稳。但是随着宋军在南方的长驱直入，志得意满的诸将开始将目光投向这个角落，希望可以一举踏平太原。
作为南征的功臣，曹彬、潘美等人对于征服北汉充满了信心，石守信、王审琦这些老将认为自己老当益壮，而王全斌、尹崇珂等等后起之秀也不甘落后，在诸将眼中，北汉成为一试高下的试金石，大家都希望可以在这里显示一番自己的实力，于是纷纷找到赵匡胤请求北伐。
对于这种现象，赵普对赵匡胤说：“目前国内安定，南方又收复了大片的土地，国力增强了不少。不过对于大宋来说，还远远不到和辽国为敌的时候。”
赵匡胤说：“为了能够安心地南征，我和辽国交好，送给他们不少金银财宝、丝绢金帛。这些东西是为了换取安宁，不过肯定不能是长期的。辽国人贪得无厌，终究有一天他们会不满足，挥兵向我大宋的财富，这一仗是不可避免的。”
正是因为认为和辽国的大战不可避免，所以赵匡胤长期以来都在为此做着筹划，但是在他的内心，非常不希望发生战争。经过几年的发展，大宋的经济得到恢复，每年的财政都会有一定结余。赵匡胤便颁布法令，将每年的财政结余都保存起来，等到积累到一定的数量之后，就用这些钱去向辽国购买被占领的燕云十六州。这一国库被命名为“封桩库”，他希望可以通过经济手段而非战争来解决这些问题。
赵普说：“陛下一直都不愿意看到战争，现在封桩库中的银两也在一天天增多，只要到了足够的数量，我们就可以和辽国和谈。所以到那个时候，北汉的收复也就不在话下。”
但是，晋王赵光义对此却不屑一顾地说：“我大宋国力鼎盛，用银钱来购买十六州，虽然可以使百姓免受战火之灾，可是难免灭了自己的威风。现在朝中的大臣都觉得这种手段有辱国威，倒不如打一仗来得痛快。”
赵匡胤说：“打仗固然来得痛快，但投入其中的军费开支不比封桩库中的要少。而且辽兵向来勇悍，和南方诸国不同，所以胜算在哪一方也说不定的。辽人需要的只是大宋的金银，与其这样冒险，不如用银钱来买简单。也可以让战火不至于践踏现在刚刚种下的庄稼，这个道理难道你还不懂吗？”
赵光义说：“非是我不明白陛下的心意，只是现在诸将都充满了信心可以和辽国一战。如果陛下觉得实在不是时候，那么我看，倒是可以和北汉一试高下。”
赵普说：“近日来，不断有奏章提到希望和北汉一战，潘美、曹彬等人也在朝堂上提议过。看来确实有很多人在想这个问题，不知道陛下是什么打算？”
赵匡胤说：“北汉向来跟我大宋不和，希望他们主动归降是不可能的，但只要动它，势必引来辽军。”
赵光义说：“北汉一直盘踞在山西，这些年来国力衰弱，靠的不过是辽的支持，现在这么贫瘠，我想辽国也搜刮不到什么了，就算我们北伐，辽主也不会派多少兵力相救。这样一来可以试试辽的实力，二来还可以壮我军威，让他们知道一下大宋的军队有多神勇！”
赵匡胤问赵普：“你对此事怎么看呢？”
赵普说：“北汉自从国主刘钧去世之后，一直都在争夺皇位，现在国内也很混乱，乘乱征伐确实也是一个办法。”
一番劝说之下，赵匡胤也动了心，北汉在北方边境存在一天，对他来说就是一种挑战。更何况他们还不断骚扰大宋，掠夺财物，既然这样倒不如发兵北伐，将其收服，也免去了很多后顾之忧。在众人的力请之下，公元968年，赵匡胤钦点卢怀中等人率领禁军直奔潞州，在那里昭义节度使李继勋、侍卫步军指挥使党进、怀州防御使康延沼等与他会合，又命曹彬为都监，挥兵直奔太原而去。
风闻宋军来伐，北汉朝廷一片惶恐。刘钧死后，其养子刘继恩继位，但却不能服北汉朝臣，内部一片混乱，被刘继元杀死夺位。新王登基之后急忙向辽国求救，辽主虽然收受了宋所进献的财宝，不打算参与到与宋的任何战争中，但碍于和北汉的联盟关系，又考虑到北汉是自己和宋之间的一道屏障，便发兵援助。
刘继元派刘继业率兵在柏谷阻拦宋军，军心不稳的汉军遭遇士气如虹的宋军，不堪一击。卢怀中、曹彬等大获全胜，消息传到开封，赵匡胤一听大喜，遣使去太原命刘继元速速投降。使者盛气凌人地对刘继元说：“如果现在投降，大宋皇帝可以封你为平卢节度使，封北汉统帅郭无为做邢州节度使。这些总胜过你等负隅顽抗，不得全尸吧？”
郭无为听后非常愤怒，对刘继元说：“柏谷之战失利，是因为宋军刚到，气势还在，而辽国的援军还没有来，所以才让他们钻了空子。只要辽国援军一到，宋军一定不是我们的对手。”
刘继元还在犹豫，郭无为说：“南方诸国被平定之后，他们的国主没有一个有好下场，难道陛下也想步他们的后尘吗？”
想到李煜、孟昶等人，刘继元只能拉着郭无为说：“大汉与我的存亡，都交给元帅了！”
在卢怀中、李继勋、党进等人大开庆功宴，准备立即挥戈向太原，将刘继元擒获之时，辽国的援军已经来到太原。这支以骑兵为主的队伍虽然不是辽军中最为精锐的部队，但作战依旧非常勇猛，与宋军交战几个回合，便将骄气盈天的宋军打得落花流水。曹彬看事态不能控制，便忙建议卢怀中撤兵。
宋军一路逃窜，而辽兵却在郭无为、刘继业等人的带领下一路追赶。不仅没能攻进太原，反而失去了晋州和绛州两座城池。原本想要立功的卢怀中、曹彬等人，只能灰溜溜地回到开封请罪。
原本一片大好的形势，在如此贫弱的北汉却吃了败仗，赵匡胤咽不下这口气，决意要拿下北汉，一雪前耻。经过一段时间的休整，又于第二年（公元969年）御驾亲征，企图将北汉消灭。然而这一次的结果和一年前一模一样，并没有因为赵匡胤亲征而有所好转。在辽军的支持下，北汉又将宋军赶回了开封。
这两次北伐的失败，是宋军军心骄奢的必然结果，也是宋和辽的侧面交锋。志得意满的赵匡胤开始逐渐清醒，明白自己和辽的差距并没有因为宋收复了南方诸国而缩小多少，宋的实力也并不足以和辽国相对抗。从此赵匡胤又回到了自己最初时候的想法，不再对北汉投入兵力，一门心思将辽国作为自己最大的敌人，在封桩库中努力存钱，希望可以通过非军事手段来获得北方的和平。
在整个太祖时代，北汉虽然一直岌岌可危，但却一直没被征服。直至宋太宗赵光义时，公元979年才将北汉彻底灭亡，但赵光义也付出了巨大的代价。北汉的覆亡代表着宋终于实现了除辽之外的一统，柴荣、赵匡胤等人毕生的梦想，终于实现了。