8月20日，第一野战军司令部发布了作战命令：命令各军于21日拂晓全线发起攻击。
1949年8月21日6时，兰州战役打响了。攻击外围阵地的炮声震撼着寂静的山峦，阵地上硝烟弥漫，刀光剑影，杀声震天。
要说兰州地势之险要，确实具有防守的特殊有利地形。它北依黄河天堑，东、南、西三面环山形成天然屏障，其坐落于起伏绵延的山岭之中。早在抗日战争时期，国民党军朱绍良部就在这里筑有永久性的国防工事。而3个月前，青马匪军又加强了防御体系，增设了马架山、营盘岭、沈家岭三大主防阵地，并与豆家山、古城岭各制高的据点相连接。
主要阵地筑有钢筋水泥碉堡群，通向城里的环山公路与各主要阵地相连接，机动十分方便。对外有一道至二道高6米至10米的绝壁。绝壁腰部设有暗藏的侧射机枪掩体，绝壁外从前沿至纵深挖有深、宽各3米至6米的外壕三道，壕内埋有半米高的尖木桩，各壕间又有暗堡和野战工事，并有交通沟和暗道相通。阵地上还有密如蛛网的铁丝网和鹿砦，蜂窝似的地雷区（以每枚航空炸弹连结着数枚地雷，只要踩响一个，半径二三十米以内人员都会遭到杀伤）。
马步芳以他的“老本”82军3个精锐师（100、248、190三个师），分守三大阵地，以马步銮的129军两个师为预备队，部署在拱星墩和兰州西关两地，又把从新疆调来的榴弹炮营配置于东校场，甘肃保安部队的3个团驻守东岗及城内，合计共5万多人据守兰州。
同时，以3个军两万人为左翼（第91军、第120军、第81军）于靖远、景泰及打拉池地区防御，又以新疆援军2万人为右翼控制临洮、洮河地区。两个骑兵旅（师）（骑8师，骑14旅）、5个骑兵团位于兰州以西河口至西宁一线，策应兰州和临洮方面的作战，号称十万大军。马步芳的儿子马继援在兰州黄河北岸坐镇指挥，前沿指挥所设在龙尾山上。
敌人自以为这样的部署，加上地形险要，工事坚固，兵力雄厚，可谓天衣无缝，固若金汤。因此，大言不惭地在城门上写了“万里金汤”四个大字。马步芳也狂妄地说：“凭着兰州依山临水的地形和抗战时期的‘国防工事’，我不仅要保住兰州，而且要直下西安！”
果然，21日战斗打响后，进行得非常激烈。我军由于战前部分指战员轻敌，未能摸清敌情、充分准备，尽管用了9个团投入战斗，部队指战员也打得非常勇猛顽强，多次和敌人展开肉搏战，并给敌人以很大杀伤，但全线却没有夺得敌人一个阵地，自己的伤亡倒是很大。彭德怀根据这种情况，果断地下令：全线停止进攻，迅速进行阵地总结，按21日的战斗指示做好准备后再发动总攻。
8月23日，彭德怀来到杨得志所部19兵团指挥所。
19兵团首战失利，指挥员心情很沉重，向彭总做了检讨。彭德怀却说：“部队试攻受阻，其主要原因是轻敌，次要原因是敌人工事坚固，守敌顽强。这次试攻是我决定的，时间仓促，部队准备不够。不过，通过试攻，也达到了了解敌人的目的。你们要告诉战士，沉住气，总结经验教训，仔细研究敌人，扎扎实实地做好准备工作，待命向敌人发动总攻。”
彭德怀的指示精神被传达到整个攻城部队，指战员们听到后，感到深受鼓舞，一致表示，一定要千方百计拿下兰州城。
在以后的三天里，“充分进行准备，争取一举攻克兰州”已成为全军上下的一致行动。无论前线和后方，机关和部队，都紧张地投入了战前准备，部队深入地进行了政治动员，认真总结了经验教训，仔细地侦察地形，反复地摸清道路，进行了沙盘作业，开展了军事民主……