川路圣谟拒绝跟着忠右卫门撤回江户，他说他受将军之命，抚理浦贺，有守土之责。若是浦贺失守，他也不能独存。
人各有志，忠右卫门估摸着美国人的心思不会放在浦贺上面，便也不强求川路圣谟跟着自己一起撤退，只吩咐他一个时辰一报，不要断了消息。
江户湾内的水路是没有办法走了，忠右卫门只能带着人马从陆路向品川撤退。在品川御殿山炮台驻守的松平齐宣早就看到美国海军大摇大摆的来到，并向江户的方向鸣炮示威。这会子，急的团团转，见到忠右卫门之后，连忙拉上忠右卫门往江户城赶。
等快马到城，只见街道萧瑟，原本布置在各街道的藩兵和旗本御家人，这会子已经逃散了多半。老百姓都知道沿海不安全，全都往北武藏、上野、下总跑路，曾经百万人口的大都会，现在不知还有几个人。
“怎么就到了这地步？”松平齐宣这两天一直没有合眼，眼睛里全是血丝。
“您二位终于回来了，大御所薨逝，现在本城一片混乱呢。”早就在日本桥等候两人的江户南町奉行助六立刻迎了上来。
“什么！”两人走的都急，这才知道。
身旁的松平齐宣只觉一阵天旋地转，他是真的爱幕府，偏偏他爱的这么深沉的幕府，显现出一副亡国的样子，让他难以接受。
“诶诶诶，快扶住明石侯。”忠右卫门赶忙让助六扛住下马的松平齐宣。
“江户情形如何？”
“别说了，糟糕到不能再糟糕。”
助六把松平齐宣交给两个属下扛着，同忠右卫门快步登城。他也是好两天没有合眼了，身为江户南町奉行，守土有责，一旦江户失守，他无面目去见自德川家康以来的历代先君。
按照他的说法，传习队离开江户前往浦贺和富津布防后，城下百姓和部分武士就开始跑路，他们担心没有大军守卫的江户，根本就无法坚守。但那时跑的人只是部分，江户湾天险，或许能够抵挡一二呢。
等佩里率兵炮击品川之后，全城大溃，好容易集合起来的几万旗本以及藩兵，基本上全都跑了。累代奉公的旗本御家人，并不比百姓强上多少。随后德川家庆薨逝的消息走漏，连最后那点子坚定的武士都动摇了，所有人都觉得幕府的气运已经到此为止。
眼下还在江户的，恐怕只有暂时不方便跑路的诸藩大名，以及幕府直接统率管辖的人马部队而已。全城不知道还有没有十万人，或者二十万人。
有一说一，助六都把自己的家人送去了上野宽永寺。他守土有责，可他的新婚妻子才怀孕，怎么忍心就留下来跟着一道死呢？
唉……
忠右卫门只能哀叹一声，幕府承平日久，天下军民不习战事，不闻兵戈，只要稍微有些风吹草动，人心便会败坏。如此情形，又有什么办法呢。
登城观瞧，连本城的警备和规矩都出现了瓦解，原本秩序井然的中奥内，到处都是面色惊惶，身着行装的武士。来来往往的，助六没有诏令，也这样跟着忠右卫门一道进来了。
尚未入殿，便听到殿内的争论之声。吵架的内容便听得忠右卫门眉头紧皱，殿上居然有人在指责刚刚是诸藩兵马先行溃散，随后导致幕府的旗本三四万人也跟着跑路。
怎么殿上会有外样诸侯！
入殿一瞧，前田齐泰、伊达庆邦、池田庆德、锅岛直正、黑田齐溥、毛利敬亲和岛津忠教居然都在场，除此之外还有几名外样诸侯。他们坐在殿末尾，和坐在上手的谱代大名争论不休，面红耳赤，殿内也无人能够制止。
“将军様当面，这般喧哗，成何体统！”忠右卫门大喝一声，阔步入殿。
原本争执的众人安静了下来，不是因为忠右卫门本人多厉害，纯粹是进来的忠右卫门和松平齐宣管带着数千传习队。杀不了洋人，还杀不了你几个外样诸侯？
“臣弟失却富津，还请将军様责罚。”忠右卫门先把松平齐宣安置下来，然后坐到德川家定面前。
“什么罪不罪的，战事要紧，战事要紧。”德川家定本来就是反应慢，现在德川家庆才死，美军又炮击品川，他已经完全转不过了。
忠右卫门望着显然已经在殿内争论许久的诸侯大名，心中无来由的想起那么一句话，一句完全切合当下的话。
“可知我们这样的国家，人民有三千数百万之多，若从外头杀来，一时是杀不死的。这可是古人说的‘百足之虫，死而不僵’，必须先从家里自杀自灭起来，才能一败涂地！”
一番话说出来，忠右卫门泪流满面……
众人听了忠右卫门这话，有的默默流下泪来；有的面色僵硬，不知道该如何是好；有的偏过头去，不想教人看见；也有面色平常，只当不知的。
“可战又战不过，为之奈何？”水野忠精也哭了起来，但他真没有什么办法挽救幕府。
“米夷船坚炮利，幕府无有水军之利，困守品川，若是品川失了，又该如何？”蜂须贺齐裕抹掉眼泪，向忠右卫门问道。
“富津一败，人心尽失，百姓逃往，军伍亦乱，唯恐德川亦有不详啊。”坐在角落的松平齐民敢说别人不敢说的，语音里带着哀声。
“福井侯，你是宰相，意下如何！”忠右卫门上前一把抓住松平庆永的胳膊，要让他表态。
“这这这……”松平庆永不知如何回答。
“彦根侯，你呢！”
“议和之款实在难以接受，唉……”
“难道就真的打不下去了吗？”松平齐宣大声的询问在座的众人。
众人被他这一喝问，不敢回答，他看到哪里，哪里便低下头去。原本还争论激烈的殿上，除了哭声，再也没有别的声响。
“竟至于此，竟至于此啊！”忠右卫门甩开松平庆永，真不知道自己还能做些什么，好救这幕府。
幕府不是仗打败了，是人心败了呀！