在我国历史的早期，帝王们选择自己的都城时，往往要把目光投向长安。因为它位于八百里秦川中心，土地肥沃；平原四周又有大山环抱，退可以守，进可以攻。就是因为这些原因，当隋文帝杨坚结束魏晋南北朝的分裂局面后，也以长安作为这个统一王朝的都城。
魏晋南北朝时期，政局动荡，关中经济情况难以与盛极一时的西汉相比。西汉仅郑白渠即可灌溉农田四万多顷。魏晋南北朝时，这里有许多灌溉工程因无暇维修而湮废。因此，隋定都长安后，仰仗东粮西运的程度，远远超过西汉。这就决定了隋在立国不久，便着手穿凿长安——黄河间的运粮渠道。
西汉时，因渭水运量很少，曾在长安黄河间凿过一条名叫漕渠的运河。后来，因东汉定都洛阳，粮食西运任务大减，漕渠由于失修，不久报废。隋朝只好重开新渠。隋开皇元年(公元581年)，隋文帝命大将郭衍为开漕渠大监，负责这一工程。他“部率水工，凿渠引渭水，经大兴城(长安城)北，东至于潼关，漕运四百余里，关内赖之，名之曰富民渠”。(《隋书·郭衍传》)富民渠虽发挥重要作用，但因仓促成渠，渠道浅窄，航运能力有限，难以满足日益增加的东粮西运的需要。隋开皇四年(公元584年)，只好再次动工，加以改建。
这次改建，要求凿得深宽顺直，可通“方舟巨舫”。舫是一种两舟相并的船，体积大，容量多。《战国策·楚策》说：“舫船载卒，一舫载五十人，与三月之粮。”要通航这样大型重载的舫，渠道必须又深又宽。改建工程由杰出的工程专家、大兴城的设计者宇文恺主持。动工之前，他先派“工匠巡历渠道，观地形之宜”(《隋书·食货志》)，以便在实地调查的基础上，将渠道布置得更为合理。在上下共同努力下，工程进展顺利，当年即峻工。新渠仍以引渭水为主要水源，自大兴城至潼关，长300余里，命名为广通渠。广通渠的运量大大超过旧渠，对缓和关中粮食的紧张情况，有重要作用。隋开皇五年(公元585年)，关中大旱，但是无灾。当时所以旱而无饥荒之灾，与发放300多万石广通仓的粮食有关。广通仓在广通渠旁的华州(今华县)，这里的粮食，就是沿广通渠从东方运来的(图1)。
从潼关以东运粮入关，广通渠以下一段水路是黄河。黄河有三门砥柱之险，砥柱为两个石岛，兀立河心，堵塞航道，形成神门、鬼门、人门三条险道，神、鬼二门无法通舟，人门虽可勉强航行，但风险很大，经常船沉人亡。三门砥柱是当时东粮西运的“瓶颈”。于是，又有隋开皇十五年(公元595年)，下令“凿砥柱”。不过，在当时的技术条件下，“凿砥柱”的工程很少进展，只好半途而废。
图1 运粮舫舟图