扶眉战役后，胡宗南主力被歼，国民党反动集团更加寄希望于青、宁二马同我较量。此时二马集团仍未遭到歼灭性的打击，处于绝望之中的国民党反动集团竟又过高地估计了二马的力量，妄图依靠二马扭转西北战局，于是积极策动二马与我决战于平凉地区。他们认为，平凉扼甘、宁之咽喉，为我进军西北必争之地。平凉一线多深壑峭壁，关山险要，青、宁二马又有兰州、银川为后方，供应比较方便；而我军远离后方，供应必定十分困难。胡宗南乘机自秦岭配合出击，必将陷我于首尾难顾的困境。他们还妄图在我进入少数民族地区后，煽动民族矛盾，使我无法立足，从而把我军消灭于陇山之中。
一九四九年七月十九日，彭总在虢镇附近的文广村召开军以上高级干部会议，对扶眉战役进行了总结。他把这次战役称为与胡马集团决战的第一个回合，并提出了第二个回合——平凉战役的作战计划。
彭总在分析敌情的时候指出：胡宗南在扶眉战役后虽然尚有十余万人的兵力，但分散在东起秦岭之东江口、佛坪，西至徽县、成县、两当、武都地区，南至安康、汉中及其以南地区，已成惊弓之鸟，时刻惧我进攻，短期内已无向我关中发动进攻的能力。青、宁二马退守陇东地区后，如继续后撤将失去甘肃、宁夏之咽喉——平凉，势必造成我大军直捣兰州、银川的形势，估计青、宁二马在尚未受我歼灭性打击的情况下，是不会甘心的，必将凭借平凉一带天险进行抵抗。因此彭总决心以十八兵团之两个军钳制胡宗南，保障我后方的安全，集中我一、二、十九三个兵团及十八兵团之六十二军共十个军，追击二马，力争歼其主力于平凉地区。以十九兵团附骑兵第二旅为右翼，沿西兰公路及其两侧向平凉攻击前进；以一、二兵团为左翼，分两路平行北上，先取陇县，直插平凉以西，断敌退路，并打击由兰州、固原方向可能增援之敌。以十八兵团之六十二军为总预备队。彭总还指出：西北地区雨季逼近，陇县南北山高路险，人烟稀少，战役行动应尽量提前，推迟则困难更多。
毛主席完全同意彭总的作战计划，并高兴地断定：只要平凉战役能歼两马主力，西北战局即可基本上解决，往后占领甘、宁、青、新，基本上只是走路和接管的问题。同时，毛主席一再指示我们：打马是一个较为严重的战役，要准备付出较大的代价，千万不可麻痹轻敌，疏忽大意。
我军经过几天的短暂的休整，从上到下地进行了政治动员；在“三大纪律、八项注意”教育的基础上，特别对团结回族同胞作出了具体规定：要求部队充分发挥“是战斗队又是工作队”的作用，一面作战，一面做好新解放区的群众工作；针对二马在马家军队中的欺骗宣传，制订了《宽待回民俘虏守则》，并释放了回民战俘，每人发给三块银元的路费。为了保证部队供应，彭总还亲自筹划车辆，组织后方交通运输。各部队又组织了筹粮工作队，随军就地向人民群众借用部分粮食，以补充后方供应之不足。
七月二十一日，我兵团自乾县、礼泉一线出发，沿西兰公路及其两侧追击敌人。我们将几十辆坦克和装甲车组成的战车队放在前面，为部队开路。这些坦克和装甲车，都是我兵团在华北战场作战时从敌人手里缴获的，今天倒成了对付敌人骑兵和吓唬敌人的有力武器。一、二兵团也按预定计划，分别于七月二十三日、二十四日开始出动。
这时，仓惶撤退的青、宁二马，处于战、退难决的窘境。他们想战又觉得难以抵挡我三十万大军，深恐被我包围歼灭；想退，又怕失去甘、宁咽喉，造成我大军直捣兰州、银川的不利形势。因此，迟至七月二十四日，才在敌西北军政长官公署副长官刘任的主持下，召开了师长以上指挥官参加的军事会议，制定了所谓“关山会战指导复案计划”，作出了平凉决战的部署：决定以宁马之第一二八军、第十一军共六个师又一个骑兵团、两个炮兵营，于平凉以东、以南进行防御，由四十里铺、安口窑、华亭地区，以平凉为中心，从东北到西南，形成一个弧形防御地带，企图以积极抗击消耗我军主力。青马由安口窑地区西移六盘山，以便待机实施迂回，从其弧形防御地带之右侧——华亭、安口窑方向反突击，攻我右翼，并依靠胡宗南从秦岭向我后方出击，“协力而各个击破之”。
在青马主持下制定的这个所谓“关山会战指导复案计划”一抛出，对青马早有戒心的宁马，立刻察觉青马企图在平凉决战中保存自己的实力，而让宁马打头阵。按照这个计划，即使决战获胜，宁马也将耗损主力，而青马则可坐享其成；一旦决战失利，西撤六盘山待机迂回的青马必定乘机逃走，而牺牲宁马。尤其是宁马见我军置重兵于其右翼，更惶惶然深感难逃被歼的厄运。早就对马步芳心怀不满的马鸿逵，因国民党中央许诺的甘肃省政府主席被马步芳企图夺取，更加怀恨在心，一见青马如此部署平凉决战，立即电令宁马临时总指挥卢忠良：保存实力，退守宁夏。于是，敌人的平凉决战计划未及实施，就婴死母胎了。
我各路大军长驱直入陇东，跟踪追击青宁二马，至七月二十七日，宁马已向平凉以西撤退，青马主力也撤至静宁地区。根据这一情况，彭总断定敌人已放弃在平凉与我决战的企图，而改为各保其家，节节抗击，迟滞我军前进的战法，逐于二十七日发出命令，修订原定之作战计划，十九兵团继续追击宁马，一、二兵团则分两路追击青马，歼灭一切被抓住的敌人。七月二十八日，一兵团抓住了扼守陇山要隘——固关、掩护青马主力退却之敌骑兵第十四旅。我第一军经一小时战斗，迅速攻占其附近据点并抢占其两侧高地，敌不支，慌忙向固关以西溃逃，第七军之二十师早已绕固关以南迂回过来，断敌退路，逃敌被我歼灭，仅有旅长马成贤带伤逃走。这是青马第一次整旅被我全歼，对青马震动极大，更加速向兰州逃窜。宁马跑得更快，我们十九兵团猛追十余天，到八月一日始得一战于固原以南之任山河，六十四军经六小时激战，歼敌五千余人。
同时宁马以一二八军扼守六盘山东侧之三关口，企图依托公路两侧之悬崖绝壁阻止我军前进。我六十五军之一九三师勇猛地向敌人发起强攻，很快占领了敌人阵地，夺取了三关口，打开了通路。八月二日，六十五军之一九五师攻占战略要地六盘山。至此，我各路大军已直入甘肃腹地，虽然未能歼灭青、宁二马主力于平凉地区，但却达到了分割二马的目的，为以后各个歼灭敌人创造了更为有利的条件。敌人失去了平凉地区这一有利的决战阵地，使兰州、银川暴露于我军的攻击之下，陷于空前不利的困境。
青、宁二马被我分割，兰州、银川告急，引起逃往广州的国民党反动政府的极度恐慌，这对其妄图保守西北与西南为其最后反革命基地的梦想，是又一次沉重的打击。当时国民党政府的行政院长阎锡山急忙在厂州召集马步万、马鸿逢、胡宗南参加的“西北联防会议”，策划了兰州决战计划：以青马节节抵抗后退守兰州，吸引我军主力于兰州城下，牵住我军主力；然后宁马退出固原后转向兰州，胡宗南则进击陇南，以包围合击我军，并答应派空军大力支援。敌人认为，兰州有坚固工事和天险黄河为依托，兵力集中，弹药充足，而我军经长途跋涉，部队疲劳，再用坚壁清野、断我后路等手段，造成我军供应困难，然后歼灭我军于兰州外围。
会上，阎锡山极力调解马步芳和马鸿逵的矛盾，任命马鸿逵为甘肃省政府主席。会后，马步芳一再拉马鸿逵即赴兰州到任，实际是想以马鸿逵为人质取得宁马的支援。两个人多次抱头痛哭，发誓要同生死共患难，并商定一同坐飞机回兰州。不料飞机将要起飞时，马鸿逵突然变卦，以回宁亲自部署出兵援兰为借口，决定先回银川，于是两马分道飞回西北。
早在一九四九年七月六日，即扶眉战役以前，毛主席在《解决西北敌军的方针》的指示中，就曾指出对青、宁二马应予区别对待：首先打击马步芳，马鸿逵是傅作义将军的拜把兄弟，曾派人向傅作义将军表示有向我求和之意。毛主席设想在歼灭马步芳后，对马鸿逵可在军事打击下尽量争取用政治方式加以解决。同时，鉴于青马在政治上占统治地位，在军事上也比宁马大，歼灭了青马，即可基本上解决西北问题。因此，彭总决定首先集中力量歼灭青马。当时，纵观青马动向有两种可能：一是在兰州同我决战，二是退守青海老窝。如敌逃回青海，将造成我进军作战之严重困难，势必延长西北全部解放的时间；而兰州是甘肃、宁夏、青海、新疆四省之枢纽，虽然攻打兰州将是一场艰巨的攻坚战，但作战条件远比青海有利。所以我军的作战方针是力争同青马决战于兰州，而严防敌人逃回青海。
八月四日，彭总发布进军兰州歼灭青马的作战命令，确定如下之部署：
以二兵团之三个军和十九兵团之两个军分两路包围进攻兰州；由一兵团附六十二军突破敌右翼向其青海老窝迂回，以动摇其军心，并拦阻和歼灭从兰州逃窜之敌，尔后西渡黄河，直取西宁。另以十九兵团的六十四军在固原一带向宁马佯动，并准备阻击来援之宁马；以十八兵团主力（欠六十二军）及第七军等三个军沿川陕公路前进，以钳制胡宗南。这样，就给青马布下了天罗地网，使其无法逃脱被歼的命运。
八月八日，我兵团主力向西直指兰州。我们沿着弯弯曲曲的盘山公路，登上巍峨的六盘山，遥望祖国的苍茫大地，浩浩荡荡的解放大军象汹涌的铁流滚滚西去，回想起十四年前工农红军长征途中经过六盘山时毛主席写下的壮丽诗句：“六盘山上高峰，红旗漫卷西风。今日长缨在手，何时缚住苍龙？”真是感慨万千！我们循着当年工农红军走过的脚印，怀念被马步芳屠杀的革命战友的音容笑貌，不禁潸然泪下。那时候，红军战士们曾发誓要打回来的，如今我们终于回来了。我们不但要向马步芳讨还血债，而且打倒蒋介石、解放全中国也已为期不远，革命烈士的忠魂即可含笑于九泉了。
我军在追击途中，敌人怕遭围歼，只以骑兵分散与我接触，一经接触，立即逃走，其逃窜的步兵则离我军一至两天的路程。我军所到之处，敌人的地方武装纷纷起义投诚，有的则随敌正规军远逃，有的溃散回家。从马步芳反动统治下解放出来的广大地区，迅速建立了人民政权，安定了社会秩序。惨遭马步芳蹂躏的灾难深重的回、汉同胞，忿怒控诉马步芳的种种罪行，许多回、汉青年纷纷要求参加解放军去消灭马步芳。我军纪律严明，秋毫无犯，并利用行军作战的空隙，做群众工作，帮助群众生产劳动。广大回、汉群众象对待自己的亲人一样，给部队腾房子，烧开水，送柴送米，帮助作饭，主动要求给部队带路，积极热情地支援我军作战。还有来自新、老解放区的十五万民工和数千辆汽车、大车，跟随野战军行动，帮助救护伤员和运送各种作战物资。我军指战员亲眼看到马步芳的暴虐统治，更加激起了对敌人的无比仇恨，广大回、汉群众的全力支援，又使我军上下受到极大的鼓舞。
大兵团持续地长途进军，给我军带来了许多严重的困难。沿途地广人稀，交通不便，进入雨季后路途泥泞难行，粮食、鞋子、弹药、经费接济不上。缴获的粮食和从民间借来的粮食没有时间磨粉，常常煮麦粒为食。西出固关、平凉后，气候由炎热而骤然变冷，加上村落稀疏，民房很少，部队往往露宿街头或旷野。不少人不适应西北高原的气候，患了感冒、痢疾、疟疾等疾病。在重重困难面前，我军依靠党的坚强领导，充分发挥了政治工作的威力，又有全国胜利形势的巨大鼓舞，部队始终保持了高昂的士气。广大指战员团结一致，互相帮助，克服万难，以坚韧顽强的战斗意志向兰州追击前进。