中原和华东野战军从11月23日开始，经过18天紧张而激烈的战斗，分别包围了黄维兵团和杜聿明集团，并予以沉重的打击，但这两股国民党军拼死顽抗，仍图向南突围。
解放军全歼该敌尚需一定时日。此时由蚌埠北援之敌第6兵团在第8兵团的策应下，已推进到余家集、包家集以南地区，距离双堆集仅70余里，从华中白崇禧集团中抽调的第20、第28军已陆续到达浦口，估计12月15日前后可以到达蚌埠地区。
此外，国民党正在上海集中待命的数十艘船只，有可能突然北上接走平、津、塘、唐地区的蒋系各军，转用于徐蚌战场。
针对这些情况，总前委为争取战役主动，经中央军委批准，决心首先集中中原野战军主力，并使用战役预备队华东野战军第7、第13纵队及特纵炮兵一部，先歼灭黄维兵团。华东野战军主力则围困杜聿明集团。另以华东野战军第6纵队，并调中原野战军第2纵队及豫皖苏、豫西军区5个团和渤海纵队1个师，统归华东野战军第6纵队司令员王必成、政治委员江渭清指挥，担任阻击李延年、刘汝明两兵团的任务。
刘伯承把这个作战方针形象地比喻为：“吃一个（黄维），挟一个（围困杜聿明），看一个（阻止李延年、刘汝明）”。
5日，刘伯承、陈毅、邓小平下达《总攻黄维兵团命令》，指出：敌黄维兵团经与我半月作战，已损失兵力至少三分之一，战斗部队至少损失五分之二，其主力18军（包括18师）亦已残破，这是解放军各部队英勇作战的结果。根据总的作战要求及当面实际情况，决定组成3个攻击集团。命令中原野战军第4、第9、第11纵队及豫皖苏独立旅，华东野战军炮兵一部组成东集团，由第4纵队司令员陈赓、政治委员谢富治指挥，向双堆集以东地区攻击；命令华东野战军第13纵队、中原野战军第1、第3纵队和华东野战军特纵炮兵一部组成西集团，由第3纵队司令员陈锡联指挥，向双堆集以西地区攻击；命令中原野战军第6纵队、华东野战军第7纵队和陕南军区第12旅组成南集团，由中原野战军第6纵队司令员王近山、政治委员杜义德指挥，向双堆集以南攻击。
在总攻发起前，各纵队进一步动员，补充兵源，实行火线整编，充实连队。各级指挥员深入第一线，动员组织突击队。开展军事民主，组织沙盘作业，解决战术难点，研究歼敌办法。增强火力，推广被敌称为“特大威力炮”的土造炸药抛筒。加强通信保障，架设环形电话网，重要线路架设双线，并加强和改进支前后勤工作，将粮草、弹药、药品送到前沿阵地，保障部队连续作战。
6日，解放军经过充分准备，尤其是进行了大量的土工作业后，3个集团同时发起全面攻击，各部队采取稳扎稳打，攻占一村巩固一村的战法，对敌实施有重点的多面多点的连续突击。至10日，共歼敌近5万人。
为加速歼灭黄维兵团，总前委决定，将华东野战军第3、第13纵队加入南集团，由华东野战军参谋长陈士榘统一指挥，突击敌核心阵地双堆集，东西两集团的各纵队分别向当面之敌实施突击。
12日，刘伯承、陈毅发出《促黄维立即投降书》，指出：现在你所属的4个军，业已大部被歼。就是你所依靠的王牌18军，亦已被歼过半。你的整个兵团全部被歼灭，只是几天的事。在这种情况下，你本人和你的部属，再作绝望的抵抗，不但没有丝毫出路，只能在人民解放军的强烈炮火下完全毁灭。你身为兵团司令，应爱惜部属与生命，立即放下武器，不再让你的官兵作无谓牺牲。如果你接受我们这一最后警告，请即派代表到本部谈判投降条件。时机紧迫，望即决策。（《人民日报，1948年12月16日》）
对此，新华社连续广播，各纵队抓紧时机，广泛开展政治攻势，国民党军整连整营纷纷来降。但黄维仍负隅顽抗，拒绝投降，并施放毒气，作困兽斗。国民党空军也频频出动，支援黄维兵团防守，仅13日，敌机就向解放军阵地投弹百余吨。
13日晚，解放军发起总攻。14日，南集团攻占敌临时机场南端阵地以及双堆集以南尖谷堆阵地，黄维兵团部完全暴露。东集团攻占杨老五庄、杨子全庄。15日黄昏，各集团乘胜继续攻击，东西集团通过敌人严密火力网，突破敌人用汽车筑成的防线，与南集团会合。3个攻击集团密切协同，迅速摧毁敌人的指挥中心。残敌分散突围，均被截歼。15日12时，解放军全歼黄维兵团，活捉兵团司令黄维、副司令吴绍周（兼85军军长）、第18军军长杨伯涛，第10军军长覃道善等人。兵团副司令胡琏乘战车潜逃。第14军军长熊绶春被击毙。至此，黄维兵团全军覆灭。
由蚌埠北援的李延年、刘汝明两兵团遭解放军阻击部队的顽强阻击，连攻10余日，终未能与黄维兵团靠拢。黄维兵团覆灭后，该敌于16日撤到淮河以南。被围在陈官庄地区的杜聿明集团从11日至15日曾连续向南突围，均未得逞，其防区进一步缩小，处境更加不利。
黄维兵团被歼，淮海战役第二阶段的任务已经完成，其间，解放了战略重镇徐州。正如中共中央贺电中指出的：“徐州是南京的门户，是匪首蒋介石进行反革命内战的巨大军事基地，徐州的迅速解放，对于全国战局，极为有利。尚望继续努力为全歼当面匪军而奋斗。”（《人民日报，1948年12月6日》）
中共中央、毛泽东在电贺淮海战役第二阶段大捷时，指出：黄维兵团的被歼，迫使李、刘兵团向淮河以南回窜，从而使杜聿明集团“完全孤立于永城东北地区，粮尽援绝，坐以待毙”。“望团结全体军民，继续努力，为全部歼灭当面匪军而战！”（《淮海战役》，第233页）