黄伯韬兵团，成立于1948年8月，下辖25军、63军和64军3个军，11月初，100军和44军也划归第7兵团指挥。这样，在淮海战役发起时，黄伯韬兵团实际下辖5个军共10个师，约15万人。
当我华东野战军11月6日向黄伯韬兵团包围过来时，黄伯韬7日开始挥兵西撤。这等于仗打起来之后再改变作战计划，这是兵家大忌。这究竟是为什么呢？后果又怎样呢？
1948年9月以后，黄伯韬兵团集结在徐州以东新安镇地区。黄伯韬深感自己兵团远离徐州，地处孤立，容易被解放军各个歼灭。因此，他曾向刘峙提出将各兵团集结于徐州四周，以免被解放军各个击破的意见。他认为徐州国民党军队分布在陇海铁路沿线，战线辽阔，四面八方都有解放军部队，“备左则右寡，备前则后寡，无所不备，则无所不寡”。他提出唯有效仿拿破仑的团式集中法，将兵力集中在徐州四周，方能安全。
11月3日，黄伯韬再次向刘峙申述自己的意见，主张“以徐州为中心，集结各兵团对东、西、南、北方向备战，进行深沟高垒，各兵团互相衔接”的“乌龟战术”。
当11月5日顾祝同决定将各兵团向徐州集结后，黄伯韬便于当晚赶回新安镇，立即部署西撤。但这时黄伯韬又接到刘峙命令，要他掩护原定从海上撤退的国民党第9绥靖区44军西撤，等44军由海州撤退到达新安镇后，全兵团再行撤退。所以，直到11月7日早晨，黄伯韬兵团才在一片混乱之中开始撤离新安镇，向徐州靠拢。
黄伯韬原先的西撤部署是，命令架桥部队先在铁路北方架一平行浮桥，沟通运河两岸的公路；25军派一部占领牛山，掩护44军先行撤退，然后担任对东面的警戒；100军占领炮车，对北警戒，掩护63军、64军、44军通过运河。
但此时我军已发动攻击，敌人感到情况紧急，各个军都各有打算，黄伯韬的部署无法实施。在这种情况下，黄伯韬不得不变更原来的部署，改为：25军先以一部占领牛山，掩护44军撤退；100军占领炮车，担任对北掩护，待兵团主力退过运河后再随后跟进；63军由窑湾渡过运河，向碾庄撤退；64军尽先通过运河铁桥，策应63军渡河；兵团司令部随64军撤退；各军到达碾庄后集中，然后再向八义集、大许家转进。7日早晨，全兵团开始按100军、64军、兵团司令部、25军、44军（该军6日始到新安镇以东的城头）顺序西撤。63军由新安镇向西南的窑湾撤退。
在新安镇往徐州途中，有京杭大运河横隔。这一带只有一座铁路桥可以通过运河，沿河船只都被当地群众沉入河底或隐藏到下游去了。
黄伯韬兵团除63军外，其余4个军10万多人，再加上国民党地方人员，同在一座桥通过，拥挤不堪。这些国民党官兵，各自都想夺路奔逃，很多人被挤落水，有的则在桥上被活活踩死，有的部队为了抢过运河，甚至用机枪开路。
直到9日，除部署在窑湾渡河的63军外，其他4个军相继渡过运河。黄伯韬命令在河东留下的两个团，据守桥头堡，阻止我军追击，并命令在桥上浇上汽油将铁桥烧毁。当天下午，黄伯韬兵团进抵运河以西的碾庄地区。