项羽虽然听说了刘邦已经到东方来了，但因为已经与齐军连续作战多日，就想在打败齐军之后再去迎击汉军。刘邦因此得以挟常山王张耳，河南王申阳、韩王郑昌、魏王魏豹、殷王司马卬五诸侯的军队，共五十六万人，攻入彭城。
项羽听到这个消息，就命令诸将攻打齐国，他自己又率领精兵三万人向南从鲁县穿过胡陵。刘邦率军攻入彭城，收获不小，纵情享乐，放松了警惕。项羽乘机于晨时开始进攻，一边攻打汉军，一边向东推进，打到彭城，已是中午时分，把汉军打得大败。
汉军四处逃散，前后相随掉进穀水、泗水，楚军杀了汉兵十多万人。汉兵向南逃入山地，楚军又追击到灵壁东面的睢水边上。汉军后退，由于楚军的逼挤，很多人被伤被杀，汉军士卒十余万人都掉进睢水，睢水因被堵塞都不向前流动了。楚军把刘邦里外围了三层。
正在这个时候，狂风从西北方向刮起，摧折树木，掀毁房舍，飞沙走石，刮得天昏地暗，白天变成了黑夜，向着楚军迎面扑来。楚军大乱，队阵崩溃，这样，刘邦才得以带领几十名骑兵慌忙逃离战场。诸侯们见楚军强大，汉军被打败，又都背离了刘邦而去帮助楚王。塞王司马欣也趁机逃入楚国。
刘邦原打算从沛县经过，接取家眷向西逃，楚军也派人追到沛县，去抓刘邦的家眷；但刘邦家眷已经逃散，没有跟刘邦见面。刘邦在路上遇见了儿子和女儿，就把他们带上车，一块儿西逃。
原来审食其跟随着太公、吕后抄小路走，也在寻找刘邦，却偏偏碰上了楚军。楚军就带着他们回来向项羽报告。项羽一直把他们留置在军中当做人质。
这时候，吕后的哥哥周吕侯为刘邦带兵驻守下邑，刘邦顺小路去投奔他，渐渐地收集汉军士卒。驻扎在砀县。然后率军向西，经过梁地，到达虞县。
当时在下邑时，刘邦下马倚着马鞍问张良：“我打算舍弃函谷关以东等一些地方作为封赏，谁能够同我一起建功立业呢？”
张良进言说：“九江王黥布是楚国的猛将，同项羽有隔阂；彭越与齐王田荣在梁地反楚。这两个人可立即利用。您的将领中唯有韩信可以托付大事，独当一面。如果要舍弃这些地方，就把它们送给这三个人，那么楚国就可以打败了。”
张良的一番话引起了刘邦的思考。