5月5日，中央军委给华东野战军下达近期作战的计划，要求华野第1、第3、第4、第6、第8纵队及中原野战军第11纵队，共计6个纵队，全部集结在中原黄淮地区打大仗，在陇海路开封至徐州段及其南北地区，以寻歼敌整编第5军为作战的主要目标，力争在4至8个月内歼敌五六个至十一二个旅。同时指示华野第2兵团向津浦路一线行动，相机歼灭并牵制敌整编第12师、第72师等部；第4兵团在苏北发起进攻战役，以策应中原战场我军作战。
歼灭整编第5军，正符合当时华野全体指战员的强烈愿望。自蒋介石发动内战以来，该军常在进攻华东解放区和在中原战场中打头阵，既骄横，又狡猾，与华野多次交手，未赚到便宜，也未受到沉重打击，气焰十分嚣张。华野指战员对它恨得咬牙切齿。因此，当提出打敌整编第5军时，部队群情振奋，摩拳擦掌，大有“灭此朝食”之慨。
5月14日，朱德、陈毅、粟裕主持召开华野前委扩大会议。陈毅传达毛泽东关于时局与方针的指示，并通报了华野领导调整的决定。下午，朱德在陈毅陪同下亲切会见了1兵团战斗英雄和战士的代表，向大家表示党中央的问候。
战士们见到敬爱的朱总司令，心情非常激动。有的战士说：“我看到朱总司令后，死了眼也闭了。”
当天晚上，1兵团召开团以上干部会议，朱德作了重要讲话。他充分肯定了华野在解放战争中作出的巨大贡献，讲述了当前的形势和党的方针政策，强调执行政策和纪律的重要性。关于华野下一步的作战任务，他说：主要是争取消灭国民党的两大主力——邱清泉的5军和胡琏的11师。
如何消灭这两大主力呢？朱德说：“我替你们想了一个办法，就是用‘钓大鱼’的办法。钓了一条大鱼你不要性急，不要一下就扯上来，因为你性急往上扯，大鱼初上钩，尚未疲困，拼命扯往往会把钓索弄断。可以慢慢同它摆，在水里摆来摆去，把它弄疲劳了再扯上来，这样就把这条大鱼钓到手了。对第5军就要用这个办法，要用‘引’的办法。它来攻，我就退，有条件就阻击一下，没有条件就不阻击，把它拖得很疲劳，弹药也消耗得差不多时，再用大部队去奔袭歼灭它。你们一定要下决心钓到一两条这样的大鱼。”（《朱德选集》）朱老总形象生动的比喻，给华野干部留下深刻印象，也成为豫东之战的指导思想。
5月21日，中央军委向陈粟、刘邓下达歼灭5军的作战指示。要点是：“我1、4、6纵可于25日左右由临濮集、郓城地区南渡，先在鲁西南及陇海线上歼灭几部敌人，造成集中1、3、4、6、8及11等6个纵队全力歼灭5军之条件，而以歼灭5军为夏季作战之中心目标。”“刘邓担负钳制18军，使不能东援。”“陈毅不参加此次作战，尽可能迅速地偕同邓子恢及大批干部去豫西和刘邓会面，建立中原军区及中原局经常工作。”“粟裕全权指挥1、3、4、6、8及11纵之作战，并指挥许谭在津浦线上之配合作战。”（《陈毅年谱》）
接到指示后，陈毅于30日结束濮阳整训工作，与邓子恢率领4700名干部绕道太行前往河南宝丰，与刘邓会合。粟裕则调遣部队准备渡黄河南下，会合洛阳战役后东返的陈唐兵团与5军作战。