同样是清和源氏，但赖政的家系跟赖朝、义经、行家等人略有不同，相同的只有从清和天皇到第四代的满仲。
满仲的长子赖光是赖政的祖先。赖光带着坂田金时等随从，打退住在大江山的妖怪酒吞童子的故事相当有名。后来这一支直到赖政为止都住在近畿，统治着近畿的源氏。
赖朝的家谱是以满仲的三子赖信为祖先，主要在东国培养势力，因此家谱中出现了八幡太郎义家、恶源太义平、镇西八郎为朝这类人物。而赖政的家谱中，没有这种武功高强的英雄人物，可能因为是生长在京都的缘故。
不过，赖政却是个例外。他年轻时就是有名的弓箭手，老迈后技术并没有衰退，仍可以一箭射中出没于宫廷附近的怪鸟。
——厉害。
京都人都很佩服他。
他善于处世，虽然是源氏，可是却似乎知道平家会战胜。在关系着源、平兴亡的平治之乱中，他一开始答应帮助赖朝的父亲义朝，可是开战后却驻兵于六条河原不动，观赏巷战，且在义朝危急时反过来投靠清盛，因此成为京都中唯一存活的源氏。
然而，京都人却没有指摘赖政的功利行动，因为赖政平常待人很好，又有诗才，他所作的和歌美妙得令人传诵不已。赖政处世的圆滑还不只显现在这件事情上。
治承元年时，叡山僧兵抬着神轿，大举闯入京都，想集体向皇帝抗议。骚乱中，赖政发挥了圆滑的处世能力。
朝廷为了扫平骚乱，派平家总领重盛与源氏老将赖政把守宫门。
可是，僧兵团躲避平家强大的军力，只进攻以小部队防守达智门的赖政军队。看到这种战况，赖政出现了怪异的行动：他不准备战斗，只是脱下头盔，下马跪在地上，对着神轿伏拜，并向僧兵的大将说：
“我是个微弱的源氏，兵力也不过只有二百人，跟我这个势单力衰的武士打仗，你们也没甚么好自夸的。守对面阳明门的，是日本最强的武士平家，你们还不如去攻打那边。”
赖政怕得罪叡山势力，并同时称赞平家是“日本最强的武士”，让双方产生冲突，使自己幸免于难，这就是他葫芦里卖的药。
——源三位殿下真是好人。
僧兵们转移方向，抬着神轿前往平家防守的阳明门，引起了一阵骚动。
赖政就是这样的人，善于明哲保身。可是，面对现今的时势，他当然并不显达。因为根据平时忠的说法：源氏在平家眼中根本不是人。
源赖政过了七十岁后，官位还是四位。连他本人都感叹：
若没有可以攀爬的东西
一辈子就要在树根捡拾椎木了
他写了这首和歌。不知道甚么时候，这首和歌传到清盛耳中。
“那老人还是四位吗？”
他深感怜悯，便奏请将赖政升为三位。自古以来，源氏没有升到三位的例子，因此京都人故意称他源三位。
（这么一个明哲保身过活的老人，会愿意帮忙举兵讨伐平家吗？）
行家听到有关源三位赖政的种种，越来越没有自信去说服他。
（可是……）
行家马上想到自己最近听到的一件事，也许对接下来的行动会有帮助。
赖政的长子叫仲纲，是个很倔强的年轻人。最近，他从东国取得一匹无与伦比的骏马，将这匹马取名为“木下”，到处展示夸耀着。
“要他把那匹马给我。”平家的宗盛无心说了这句话。
“为了你好，还是给他吧！”
仲纲的朋友都这么劝他。
可是他不听朋友的忠告。平家的继承者小松大臣平重盛，去年七月因胃病去世后，这个跟重盛一点都不像的愚者宗盛，便登上了继承者的宝座。他以后将会是日本的统治者吧？就微弱的京都源氏立场来讲，必须讨好宗盛。
“一定要这样做！”
人们劝他。可是仲纲跟父亲不同，他非常自豪于自己的源氏背景。
“为甚么要这么谄媚？宗盛殿下也是武门的继承人，我仲纲也是武门的继承人，武道中有分上下吗？其他东西还无所谓，马是有生命的东西，哪能说给就给呢？”
宗盛听到了仲纲这席话。
——衰弱的源氏之子讲出这种话？
很意外的，宗盛没有生气，反而觉得仲纲的认真很好笑。本来，平氏一族的共通性格就是不会对任何事情生气，宗盛更是特别迟钝。不过，他却越来越想要马。终于，他忍不住派使者向仲纲说：
“借我一天就好。”
仲纲知道他其实是要抢，于是想拒绝。可是父亲赖政开口了：
“这样太不圆滑了。”
其实，赖政对仲纲耿直的个性很欣赏。他虽然是长袖善舞的社交家，内心多少还是对平家的傲慢无礼难以容忍，只不过他一直忍气吞声。
“你保持过去的态度并没有不妥，可是他都退让了，只说要暂借，你如果还拒绝，就太不够意思了。做任何事情都要有限度，不逾越限度的人，才能在这个世界生存下去。”
赖政这么一说，仲纲勉为其难把木下牵到六波罗借给宗盛。宗盛果然不愿归还。过了几天，仲网不断催促，宗盛仍顾左右而言他。最后，他终于说：
“用这匹代替吧！”
他送了匹叫南镣的银毛名马给仲纲。
——忍耐一下吧！
赖政如此安慰他。可是仲纲十分固执，仍每天派人去六波罗催宗盛还马。
“讨厌的男子！”
宗盛终于生气了，可是，他有种用嘲讽来表达怒气的本领，他把马匹改名为“仲纲”。
客人一来，他就把马牵到院子里展示，客人若问起马的名字，他就呵呵笑着说：
“它叫仲纲。”然后笑得整张圆脸鼓鼓的。
仲纲气得不得了：
——这还能忍耐吗？
可是对方是平家，他也莫可奈何。仲纲强烈表示要闯进平家理论，即使死了也无所谓。后代武士的伦理附加了很多不同的纲目，可是当时只有一条——知耻。即使利害攸关，但受到这样的耻辱，难道还必须忍耐下去吗？
“父亲，您觉得如何？”仲纲追问。
其实赖政也很生气。可是如果反抗，在平家底下忍受这二十几年，不就全部付诸流水了吗？
“让我想想看！”赖政说。
以隐居僧侣打扮潜入京都的新宫十郎行家，就在这个时候，来到堀河的源氏馆拜访源三位赖政。
“我根本不认识你。”
一开始，赖政怀疑来客的身分。有旁系的源氏血亲被流放到熊野新宫附近是很久以前的事，他已经不复记忆了。
“在保元之乱中死去的为义，共有四十个孩子。连他本人都很难记清楚孩子的容貌或年纪，更何况是外人？”
为了以防万一，行家打开写有源氏氏族的名簿，其中果然有他的名字。
“让他进来。”
赖政下令召见他。在最里面的房间里，这个来自流放地的逃亡者，与老人面对面静静坐着。
（个性似乎很轻率。）
老人看着他瘦如鱼乾却富光泽的脸孔，这么想着。
“老爷爷！”
行家如此叫着老人。
赖政是赖光这一支系的长者毋庸置疑。可是，行家却不将赖政当贵族般尊敬，反而亲密的拿他当“同族人”。
行家消息的灵通令赖政惊讶。
“平家一门为时不久了。”
这个乡下人毫不畏惧地讲出令赖政心中一紧的政治禁语。
“不管是京都的市集，或是乡下的田间小路，都充满了怨恨平家的声音。不只如此，连高高在上如居云端的法皇都怨恨着平家。”
“嘘！不要讲啦！”
赖政对这位乡下策士的能言善道感到头痛，皱起了眉头。
辩论家往往有种宗教性的权威。
行家在被放逐到熊野时，学会了修验道。他会念经文，还曾经在那智的瀑布下艰苦修行，拥有山僧才能应付自如的宗教修养。
“某个初一，当我在那智瀑布下修行时，朦胧的水雾中出现了七彩的彩虹桥，桥上站着一位白衣白胡的老人，我仔细一看，发现正是熊野权现。”
（说谎！）
赖政这么想。他虽然不相信，可是对行家的辩才很有兴趣，于是假装听得入迷。
“然后呢？”
“在我俯伏跪拜的时候，彩虹的红色消失了，幻化成白虹，白龙起舞升天而去。”
“真的吗？”
赖政的表情认真起来。《战国策》中记载：
白虹贯日之时，正是兵乱前兆。
以赖政的学养还知道这一点。
“这要怎么解释呢？”
赖政为了谨慎证实自己的看法，又询问行家。
可是行家却说出一种平庸俗气的解释：
“红色是平家的旗帜，白色是源氏的旗帜，红色消失白色出现，表示神托言，未来将是源氏的天下。”
“不对吧？”
赖政小声地说，他的表情很认真。
“哈哈！不对吗？”
行家惊讶于自己乱编的神话，竟然会吸引赖政这种有学养的人。
（我也很厉害！）
行家这么想着。可是，事实多少有点出入。与其说赖政上了行家花言巧语的当，不如说这关系着教养高低的暗示，如此反而比较接近真实。
“真是令人惊讶啊！在唐书里，有白虹贯日即兵乱前兆的说法。我读到时多少有点怀疑，是否实际上真有白虹的现象。不过，现在听到你这么说，才知道古人的确不会骗今人。你看到白虹了吗？”
从那天起，赖政就让行家住在府里受自己保护，可是仍没有下定决心举兵。赖政的动员力只有五百骑兵，无法对抗统治天下的平家。
“我没办法。”几天后赖政这么说。
“如果有策略就可以。”
行家爽快的回应。问题是如何发动沦落各国的源氏武士。可是，如果能顺利号召他们，也无法有五万骑、十万骑之众。
“用我的旗帜是办不到的。”
赖政是以摄津为地盘的京都源氏，与号称天下最强的东国源氏毫无关系，坂东武者不可能在赖政旗帜号召下聚集前来。
“我有个好办法，你知道住在高仓御所的以仁王吗？”
“怎么不知道！他是我吟咏和歌的同伴。”
“那就好！”
行家小声地表示，可以请以仁王当首领。赖政听了，十分惊讶于行家对京都情势的了解，眼光竟然如此锐利。
行家的着眼点在于以仁王是怀才不遇的皇族，他是后白河法皇的第二个儿子，哥哥是第七十八代二条天皇，弟弟是第八十代高仓天皇，只有以仁王自己没有当上天皇，都过了三十岁了，却连亲王都没有被授与。平家的理由是：
——以仁王的生母家并不显贵。
可是，以仁王的生母藤原成子是大纳言公实的女儿，应该不能算身分卑下。简单来说，平家想要同族的女儿建礼门院所生的以仁王之弟（高仓天皇）登上帝位，使平家成为帝王的外戚，所以才把以仁王幽禁起来。这就是事实的真相。以仁王当然也知道，因而每天郁闷度日。行家从马路消息中得知了这一点。
“把以仁王抬出来，以他的旨令向各国源氏下令消灭平家，士兵应会聚集而来吧！”
“原来如此！”
赖政故意露出意兴阑珊的表情。行家紧接着又说：
“现在可不是犹豫的时候。你的箭术在日本无人能比，往年你不是一箭就可以射中夜鸟的勇者吗？平家武者算甚么？你应该立刻下定决心。”
“好吧！现在就看以仁王了。”
赖政本来想说先看以仁王的决定，可是却突然警觉世态恐怖，于是把话吞了回去。他觉得自己已经老了，是衰弱的七十七岁老翁，现在竟然要从事争夺天下的大战，实在是疯了！
“这是为了你儿子。你难道不希望后代子孙繁荣兴盛吗？”
行家还是不停地煽动着。