六营集歼灭战的枪声方才终止，第2、3纵队就对羊山集的敌整编第66师发起了进攻。羊山集是一个上千户人家的大庄子，坐落在微山湖西金乡县的低洼地带。
庄子北面是一座平地突起的小山，形状很像一只坐西北面东南、昂头蜷卧的大公羊，庄子西北波状起伏的小山包，构成“羊尾”，从这里可以通向“羊背”。东面的“羊头”，北面的“羊身”都是高低不等的断崖。南面傍山是一条从西向东的大街。
敌军利用天然地形构筑了坚固的工事，加之连日大雨，三面环水，第2、3纵队事先没有认真侦察地形，即于15、16日两日进行攻击。结果在敌人制高点火力压制下，伤亡不小，未能奏效。
7月19日，蒋介石急飞开封亲自指挥，从安阳、西安、潼关调整编第40师、第10师、骑兵第1旅，从洛阳调第206师，编入王仲廉的第4兵团。又从豫皖苏调整编第52师，从山东抽出整编第7师、第48师、第85师、整编第5师等主力部队，一齐驰援羊山集。同时严令王敬久就近指挥整编第58师及整编第66师第199旅，立即北渡万福河，解羊山之围。刘伯承闻讯，又安排了另一个口袋阵，等候敌人钻进来。他令冀鲁豫军区部队首先在万福河北岸阻击，杀伤北援之敌，在正面留一缺口，诱敌第199旅过河后，切断其与整编第58师的联系，在运动中予以歼灭。
20日，敌第199旅果然渡过万福河向北挺进，羊山集守敌也派出1个团向南迎接该旅。第3纵队及冀鲁豫军区部队，冒着倾盆大雨，突然将敌人包围于野外。22日经两小时激战，全歼第199旅及羊山集派出接应的1个团。第199旅旅长王仕翘被生擒。他满身泥水，高举双手，很认真地说：“昨晚我算了卦，知道今天不吉利！”
第199旅的覆灭，使敌人各路援军畏缩不前。第4兵团司令官王仲廉借口道路泥泞，率部连日徘徊于冉固集、城武地区。
23日，中共中央军委和毛泽东电令：“为迅速扩大已取得的主动权，应即短期休整，速向大别山跃进。羊山之敌如能迅速歼灭，则歼灭之，否则即转入休整。”
刘伯承与邓小平研究后认为，各路援敌尚在行进途中，金乡之敌已无力北援。主力可以全部集中，完全有迅速歼灭羊山守敌的把握，于是决定继续攻歼据守羊山的整编第66师。他们指示攻击部队重新组织侦察，并调整了部署，以第2纵队一部由西向东攻击，第3纵队第7旅、第6纵队第16旅从北向南攻击，第3纵队一部由东向西攻击。各部加强炮火，着重夺取制高点。兵力上达到了我敌十比三的优势。
部署已毕，刘伯承、邓小平前往羊山集前线，向纵队领导传达了中共中央军委的指示精神，然后问他们到前沿察看了地形没有？几个纵队指挥员都说没有。刘伯承说：越是胜利越要细心谨慎，不能疏忽大意，更不能急躁。你们要亲自到前沿看地形，了解一下为什么攻不下来，跟下边指战员研究如何打法。总之，不能再拖了，必须尽快把羊山集的敌人歼灭。各纵队指挥员应命而去。第2纵队司令员陈再道、第3纵队司令员陈锡联都直接到阵地前沿勘察。陈锡联一下子跳进齐胸深的水壕里，测量壕沟的宽度和深度，布置部队备好过壕器材，并制订了具体的进攻方案。
经过细密的准备工作，27日晚对羊山之敌发动总攻。激战1昼夜，28日晚全歼羊山守敌整编第66师。
至此，晋冀鲁豫野战军主力，在鲁西南连续作战28天，歼灭国民党军4个整编师师部，9个半旅，共5.6万余人。俘敌整编第66师师长宋瑞珂、第70师师长陈颐鼎、第32师副师长理明亚以下4.3万余人，收复了鲁西南解放区，从而打开了千里跃进大别山的大门。
羊山集失守的消息传到开封，蒋介石恼怒异常。为了推卸责任，他以“行动迟缓，贻误戎机，纵敌殃民，陷害友军”的罪状判处第4兵团司令官王仲廉8年有期徒刑，遗职由罗广文接任。26日赶到商丘指挥的陆军总司令顾祝同，也灰溜溜地退回到徐州总司令部。
昼夜奋战28天的刘伯承，满怀胜利的喜悦和豪情，写下了他的著名诗篇：
狼山战捷复羊山，炮火雷鸣烟雾间。
千万居民齐拍手，欣看子弟夺城关。