乾道六年，公元1170年，赵昚诏令范成大为祈请使，为了徽、钦二帝的宫寝陵墓的缘故。
金人不同意移交给宋朝，并报告准备以三十万骑兵护送徽、钦二帝的宫寝陵墓归宋，朝野上下议论纷纷，一片惊恐，荆、襄二州统帅都请求增加兵力戍卫。
虞允文对他们说：“金人刚杀死完颜亮不久，决不会轻举妄动，他们不过是故意虚张声势，吓唬吓唬我们而已。”于是奏请停止增兵。
朝野舆论一片哗然，虞允文坚持己见决不动摇，以后金军果然没有入侵南下的行动。
这事，可见虞允文地金人的了解。
虞允文看到王储空缺，当下屡次上奏疏，言词恳切希望早立太子，以安定天下。
乾道七年，公元1171年正月，赵昚封两宫尊号，立太子之议终于决定，下诏将第三子恭王赵赵惇立为皇太子，另一皇子赵恺以雄武、保宁军节度使身份通判宁国府。
皇太子不久就任临安尹。
侍卫马军司牧马的地方过去一直设在临安，虞允文认为此地地势狭窄，不利于放牧，请求下令将牧地改为镇江，遇有紧急情况时骑马过江比较便利。
三军将士对此颇有怨言，以后议事者以此指责虞允文。
胡铨因任台谏官评议国事过多的缘故被去职，虞允文奏请将他留在经筵。
不久，赵昚生日，金国使者乌林答天锡前来拜见。
他是金主完颜褒的女婿，态度恶劣，狂妄自大，坚持要求赵昚降低身份询问完颜褒的日常生活，向金主请安，赵昚不肯答应。
乌林答天锡就跪地不起，周围的侍从惊慌失措，无以应对。
虞允文请赵昚立即起驾回宫，然后告诉乌林答天锡说：“大宋皇帝既然已经起驾回宫，就不会再回此殿了，金使就随大臣们一起上朝祝寿吧。”
乌林答天锡无奈，只得羞惭而退出朝殿。
赵昚认为仆射的名称不太合适，将其改为左、右丞相。
乾道八年，公元1172年二月，任命虞允文为特进、左丞相兼枢密使，梁克家担任右丞相。
虞允文曾经举荐梁克家代替自己，皇上没有同意。
这个月，虞允文又以病要求解除自己的重要职务，又称赞梁克家老成持重有宰相的气度，到这时，梁克家开始与虞允文一同为相。
赵昚又下手诏问虞允文：“我准备提拔一名武将任枢密使，你认为曹勋如何？”
虞允文说曹勋人品卑劣，气量狭小，无特殊才能，不可任用此人。
不久，赵昚任命张说任签书枢密院事，右正言王希吕与台谏官交相弹劾张说。
赵昚对王希吕非常厌恶，手诏将王希吕发配到险恶的边远地区。
虞允文扣留了手诏，皇上愈加愤怒。
梁克家说：“王希吕评论张说，是台谏官的责任，虞允文救王希吕，是为了国家的大体着想。”
赵昚怒气逐渐消去，最终减轻了对王希吕的惩罚。
四月，御史萧之敏上书弹劾虞允文，虞允文上奏章等待定罪。
赵昚去德寿宫拜见赵构，太上皇赵构说：“采石大捷时，萧之敏在哪里？不要听从他的意见，将萧之敏罢官赶走。”
赵昚因这件事准备罢黜萧之敏，并在折扇上题诗以挽留虞允文。
虞允文认为萧之敏品行端正，请求皇上将其召回宫中以广开言路。
赵昚深感他为人宽厚善良，命曾怀将这件事记载在《时政记》里。
虞允文用他的宽容，连萧之敏都被感化。
赵昚诏令选拔谏官，虞允文推荐了李彦颖、林光朝和王质三人，他们三人皆为人耿直、光明磊落，并以文学才能著称于当时，因此虞允文荐举他们，很长时间却没有答复。
曾觌也推荐一人，立即赐进士，提拔为谏议大夫。
虞允文、梁克家据理力争，皇上不肯听从。
虞允文请求离职，被授予少保、武安军节度使、四川宣抚使，并加封为雍国公。他向赵昚辞行，赵昚告诉他进取的方法，并期待着有一天与他会师于河南。
虞允文说：“将来要防备内外不能遥相呼应。”
赵昚回答：“假如蜀军出征而我们迟迟不率军队出发，就是我有负于你；假如我率军出征而你迟迟未能响应，就是你有负于我。”
赵昚亲自来到正宫，敬酒赋诗，以隆重的仪式欢送他，并赐给他宗庙祭器。
乾道九年，公元1173年，虞允文到达四川。
这时，驻川官军每月仅发给一石五斗米，无法赡养家人。
虞允文捐献宣抚司三十万钱用以换米，按官兵家中人口数目增加供给。
虞允文订立七条民户养马以供军用的规则，从民间搜求大批良马，奏请皇上同意后挑选大批青壮年进行训练，作为战争储备力量。
赵昚曾经对虞允文说：“靖康之耻，我将与丞相共同雪洗。”又说：“我只有功业不如唐太宗，富庶不如汉文帝、汉景帝。”
虞允文向皇上许诺共同恢复中原，以图统一大业。
虞允文到达四川一年后，仍没有确定进兵日期。
赵昚赐密诏催促他，虞允文回答军需还没有准备完毕，皇上很不高兴。
淳熙元年，公元1174年，虞允文没来得及北伐，就去世了。
四年后，赵昚到白石举行阅兵大典，看到士兵都年轻力壮，很有战斗力，对手下大臣说：“这都是虞允文实行优胜劣汰，对士兵进行裁减淘汰的结果。”不久下诏追赠虞允文太傅，赐谥“忠肃”。
虞允文，最大的功劳，自然是采石矶之战，可惜，天不假其难，没能让他率军北伐。
史书记载虞允文身材高大，相貌雄伟，身高六尺四寸，为人慷慨，光明磊落，胸怀大志，一言一行都很有分寸，一看便知是可以委以重任的人才。
他早年曾以文学才能效力于台阁，晚年时时政日益艰难，前后出任将相近二十年，孜孜不倦，忠诚勤恳，任劳任怨，没有任何怨言，还为《唐书》、《五代史》做注释，著有诗文十卷，《经筵春秋讲义》三卷，《奏议》二十二卷，《内外志》十五卷，皆流传于后世。
古人讲将领分为勇将、大将、儒将等等。虞允文，可谓是杰出的儒将！他与秦桧比起来，同样为宰相，同是十九年，一个处处排除异己，陷害别人，自己捞钱，一个却宽容待人，勤勉职守。人之相比，真是天差地差啊！