1650年（永历四年，顺治七年）十一月，清尚可喜、耿继茂部攻克广州，孔有德部占领桂林，驻于梧州的永历君臣在同一天里得到两省省会陷落的消息，立即乱成一团。朱由榔在十一月十一日仓猝登舟，向南宁逃难。经过浔州时，庆国公陈邦傅已经决定投降清朝，准备邀劫永历帝献给清方。朱由榔得到报告，“冲雨而过”，脱离了危险。陈邦傅没有抓到永历帝，就把从平乐战败后撤到浔州地区的明宣国公焦琏刺杀，将其首级献给孔有德作进见礼。
当时的情况表明永历朝廷已经接近于瓦解，从上到下是一片混乱。清军占领广州和桂林，形势固然危急，但在两广地区南明还有一些军队据守着残疆剩土。杜永和等在广州失陷后航海到琼州府（今海南省）；南阳伯李元胤还活动于广东钦州、廉州；清军在占领两省省会之后也需要一段时间休整。可是，朱由榔生性懦弱无能，一有风吹草动立即“起驾”逃难。他从梧州窜往南宁时，根本没有作留守地方的任何部署，像普通百姓一样只知逃命要紧。“移跸”后，梧州竟然“空城三月”，次年正月孔有德遣左翼前锋马骥接管梧州，二月命总兵马蛟麟镇守该地。跟随永历帝逃难的只是内阁大学士严起恒、锦衣卫马吉翔、太监庞天寿等少数官僚。由于撤退时的漫无组织，乱兵乘机劫掠，一些有心追随朝廷的官员也裹足不前。原先聚集于两广的朝廷和地方官员大有树倒猢狲散之势。除了镇西将军朱旻如在昭平县同清军格斗而死，被革职的朝臣汪皞投水自尽以外，其他未随驾的官员有的降清，有的窜入深山，有的剃发为僧。如大学士唐諴、户部侍郎张尚、大理寺丞吴德操、广西巡抚余心度、督粮参议魏元冀等均先后降清；原戎政尚书刘远生及其弟刘湘客等避入深山，鲁可藻、钱秉镫、王夫之等人都是在这时脱离永历朝廷返回清政府统治下的故乡以明朝遗民自居。“山中宰相”方以智、原给事中金堡做了和尚。以风节自命的“五虎”首领袁彭年（左都御史）和丁时魁再次降清，都自称1648年在广州反正是被李成栋所逼迫。袁彭年在广东向尚可喜等人投降，献上赃银八百两，得保残生；丁时魁在广西降清，向孔有德摇尾乞怜，被任为清广西学道。
永历朝廷逃往南宁后，仍有一部分明朝将领在广东、广西沿海地区坚持抗清。原守广州的杜永和部乘船渡海撤往琼州（今海南省）；在钦州龙门岛一带有邓耀部、上下川岛有陈奇策部、文山村一带有王兴（绰号绣花针）部。明督师大学士郭之奇、两广总督连城璧于艰苦蹶竭中联络各部义军尽力同优势清军相抗衡。南阳伯李元胤不忍心看到其义父李成栋反正来归的广东全省重新沦陷，又不愿意撤入陈邦傅控制的广西，自告奋勇前往高州、雷州准备收合余烬，同清军再决雄雌。顺治八年（1651），他在钦州防城被士兵王胜堂擒获，押送到广州。耿继茂劝他投降，他坚决拒绝；又劝他写信招降琼州的杜永和部明军，李元胤大义凛然地回答道：“事不成，已为辱国，乃欲败人事耶？”几天后，他听说杜永和率部降清，痛哭流涕，日夜请死。耿继茂下令将他杀害，一同遇难的还有李成栋另一养子明安肃伯李建捷。