在开封府尹赵光义的势力获得疯狂增长的同时，众臣对于他的用心也开始进行猜测，朝中一时间出现风言风语，而这其中宰相赵普首先敏锐地感觉到了赵光义的动向。
赵普作为赵匡胤最为倚重的朝臣，从他任后周殿前都点检时便跟随着他，辅佐他登上皇位之后又跟随赵匡胤四方征战，建立文政，可谓大宋第一大功臣。但是随着地位的不断提高，赵普也逐渐变得不安分起来，从一个读书人变成贪财之辈。在任职宰相期间，赵普为自己强买宅邸、收受贿赂，以自己的功劳和地位为基础在朝中建立起庞大的人脉组织，让朝臣都不敢言。对这一切，赵匡胤都装作没有察觉，只是不愿意因为这些事情而罢黜辅佐自己十多年的宰相而已。赵光义随着势力的不断增大，与赵普逐渐形成了鼎足之势，两个人互相视对方为敌，不断寻找机会削弱对方增强自己。
作为曾经参与了无数斗争的谋臣，赵普对于赵光义的心怀不轨早就有了戒心，因此在赵匡胤面前总是提醒他要注意光义所为。但赵匡胤却不以为然地说：“光义是我的胞弟，他肯定不会做什么对我不利的事情的。”
赵普语重心长地说：“自从光义做了开封府尹，在开封建立起了自己庞大的势力，已经让朝臣恐慌了。难道陛下一点都没有察觉他的用意，还想要将皇位传给他不成？”
赵匡胤说：“光义现在知道笼络人心，是他开始成熟的标志，这么大的一个国家如果没有自己的势力，如何在朝堂之上立足？他现在已经懂得了这个道理，所以培养自己的心腹，这一点我是赞赏的。倒是皇子德昭，虽然年纪也不小了，但是丝毫没有这方面的想法，只是等着我传位给他。试问，就算我将皇位传给了他，凭他一人之力又怎么让朝臣服从？又有谁是他可以依靠的呢？”
赵普听赵匡胤这么一说，似乎对于赵光义私结朋党一事并不放在心上，甚至还有一些赞赏，知道自己再劝下去只会引起赵匡胤的不满而已，只能退出。但他却没有停止寻找赵光义破绽的脚步。
公元966年，赵普利用自己安排在梓州的心腹周永状告梓州知州冯瓒私受贿赂。赵匡胤一听大怒，命冯瓒进京述职，让御史台对其加以审问。赵普乘机派人搜查了冯瓒的行囊，在其中找到很多金块以及无数珍玩，而这些珍宝上的印记都写着刘璈之名。
赵普对赵匡胤汇报说：“刘璈本来是工部郎中，但他现在所担任的职务却是开封府判官，直接归属赵光义管辖，是光义府中的重要人物。他不会私自和冯瓒这些人联络的，肯定是受了光义的指使，去梓州拉拢冯瓒。”
赵匡胤皱着眉说：“既然你这么说，那就让刘璈和冯瓒来问个清楚吧！”
赵普之所以用心良苦地挖掘出受贿者和行贿者，是为了让赵匡胤看一看赵光义此时触角已经伸到哪儿了，这种盘根错节的关系对于大宋的安定是一大威胁。但刘璈和冯瓒等人却异口同声地否认了这些金银和赵光义的关系，声称只是出于私交，送给冯瓒的一点礼物。
赵匡胤说：“既然只是私交礼物，就不算是行贿了。”
赵普眼看刘璈、冯瓒要蒙混过关，便坚持问：“刘璈只是开封府的一个判官而已，哪里来的这么多金银财宝，而且他和冯瓒交往并不多，又怎么会送这么贵重的礼物呢？”
刘璈说：“开封府尹是一个仁慈的主子，对于属下非常款待，因此会不时赏赐给我们一些财物。这些财宝也都是府尹赏赐给我的，我不敢专美，就将他转送给冯瓒而已。”
赵光义也为自己的幕僚辩解说：“一点金银而已，和人心相比有什么呢？陛下时常教导我要善待部下，所以用这些金银赏赐给他们，让他们尽心地为国家做事，也是我的一贯作风。陛下向来都是赞许的，只是宰相看不惯而已。”
两个人在朝堂之上唇枪舌剑，赵普和赵光义寸步不让的辩论让赵匡胤非常头疼。他摆了摆手制止说：“冯瓒作为知州，本身就应该避免瓜田李下，不该收这样贵重的礼物，这一点是他的不自查。就将他免去知州一职，流放到登州冯门岛。其他人并无过失，以后要注意自己的言行就是了。”
这一场纷争最终以冯瓒被流放而结束，赵匡胤在其中做了权衡之后，不愿意赵普和赵光义再这么相斗下去，因此只能折中调停。但赵普对于处理结果依旧非常不满意，他对赵匡胤说：“光义现在已经控制了全国绝大多数知州为他服务，冯瓒只不过是其中之一而已。陛下应该对他更谨慎一些，不能再这么放任下去了。”
已经被他和赵光义之间互相争斗搞得烦恼不堪的赵匡胤恼怒地说：“传位给谁做太子，这是我赵家的家事，对此我有自己的打算，你为了阻拦我已经数次诬蔑光义了，难道你一定要让我贬废了他才满意吗？”
赵普惊慌地说：“臣不敢，只是怕光义继位，则大宋江山堪忧而已。”
赵匡胤冷笑着说：“就算是光义继位，江山也不至于旁落。倒是大臣插手储君的废立，才是让国家变得不安稳的根本原因。”
话已至此，赵普深知赵匡胤最为忌讳朝臣专权，因此不敢再说了。而赵光义却通过不断向赵匡胤献殷勤而获得了他的宠信，对于赵普对自己的攻击，他一直都在寻找着反击的机会。
赵光义对于赵普的攻击一直都以他受贿、敛财等作为出发点，虽然朝臣受贿是一件非常严重的事情，但放在赵普的身上却不会起到多大的作用，皆因赵匡胤对其长期积累的信任，这些罪责不足以成为赵匡胤对其治罪的原因。直到公元972年，赵光义终于找到了自己最佳的反击机会。
这一年，赵普为自己的儿子赵承宗选择了一门亲事，与枢密使李崇炬结为儿女亲家。这本是一件非常喜庆的事，但赵光义却对赵匡胤说：“赵普在朝中担任宰相，是一人之下万人之上，百官对其都非常尊敬。但是他还不满足，在朝中笼络了不少有实权的大臣，这一次他要和李崇炬结为亲家，目的也非常明显，不过是想联合李崇炬的势力而已。”
赵匡胤历来非常忌讳朝臣结党，赵光义正是抓住了这一点对其进言，果然引起了赵匡胤的警惕。他以祝贺的名义召见了赵普，对他说：“你和李崇炬结为亲家本来是一件好事，但有人反映李崇炬此人有不轨的行为。”
赵普忙问：“李崇炬向来忠诚，怎么会做出对不起陛下的事来呢？我选择儿女亲家，其人品道德自然是第一重要的。如果他犯了什么错误，我一定会慎重考虑这门亲事的。”
赵匡胤说：“这几天，我接到了一份密报，是李崇炬的一个叫做郑伸的门客送来的，他是李崇炬最为信任的心腹。他举报李崇炬收受了不少贿赂，为朝中官员谋私。这事难道你不知道吗？”
赵普大吃一惊：“此事我不知道，如果这是真的，我现在就取消这门亲事。”
不久，李崇炬便因为受贿而被免去了枢密使一职，仅任没有实权的镇国军节度使。而成功举报他的郑伸则被重用，被赐予同进士出身。赵普和李崇炬的联姻失去了任何政治意义。
在破坏赵匡胤对于赵普的信任的基础上，赵光义又指使翰林学士卢多逊对赵普进行指责，以强买宅邸、私贩秦陇巨木等理由弹劾他。在众臣围攻下，赵匡胤对于赵普终于逐渐生厌，在李崇炬被贬之后，赵普的权力也开始被削弱，副宰相参知政事的权力不断提高，凡是宰相府颁布的文件必须由参知政事共同签署才能生效；而在宰相府中担任重要职务的属官也被赵匡胤一次性更换了十五人之多，赵普的心腹都被撤职。宰相逐渐受到了牵制，而权势慢慢开始衰微。
败势一旦形成，就如山倾倒，赵普在一年之内便被赵匡胤疏远，终于在公元973年八月被罢为检校太尉、同平章事等职务，离开京城。凄然地看着自己坐了十多年的宰相之位易主，赵普明白自己大势已去，他知道自己一旦离开开封，赵光义的势力便因失去了任何阻碍而疯狂增长。这一年，赵普才五十二岁，赵光义很有可能在他有生之年便会继位登基。赵匡胤最后舍弃了股肱之臣，保留了自己的胞弟，赵普深知赵光义一旦得权一定会对自己不利，老谋深算的他在罢相离京时，特别上书声称自己对赵光义并无不满，相反非常赞赏他的忠孝全德。这一举动为他后来再回开封留下了伏笔。