兵马未动，粮草先行。当忽必烈指挥他的铁骑水师，将战火烧过淮河、烧过长江之后，后勤供应问题让伯颜这位征宋都元帅颇费脑筋。
要知道，几十万大军的粮秣，需要近百万的民工运输。那时没有现代化的运输装备，只能靠骡马大车、肩扛人挑，速度缓慢，运输量小，耗费极大。因此，在开战之前，他便和河渠副使郭守敬进行了一次大规模的考察，他们考察了河北、山东的河道，考察了隋唐的运河，成功地利用隋唐旧有河道运送给养，不仅节约了运力，提供了运能，而且也满足了前线将士的后勤供应。
至元十三年（1276年），丞相伯颜攻下南宋首都临安（今杭州）后，对江南水路四通八达的状况更是深有感触。他回大都后，即向元世祖忽必烈建议：“今南北混一，宜穿凿河渠，令四海之水相通，远方朝贡京师者，由此致达，诚国家永久之利。”
对于伯颜的建议，忽必烈非常重视。他知道：剿灭南宋，得益于优良的水路运输，才使得蒙古大军长驱直入。如今，四海统一，万民来朝，大都作为首都，需要源源不断的粮食、贡品，而这单依靠陆路交通是远远不够的。单粮食一项，近百万的人口就需要从南方调运两三百万石粮食，运费开支将是多么巨大。他还知道：虽然现在财政比较紧张，但一日不解决这个问题，京城将一日不得安宁。于是，他下定决心，一定要构筑一条沟通南北的水上通道！
看着郭守敬的开挖疏浚运河形势图，忽必烈很想听一听这位水利专家的意见。
对于郭守敬，忽必烈并不陌生。他是刘秉忠的弟子，由张文谦推荐上来的。中统三年（1262年）春，他在当时新建的京城上都（今内蒙古多伦附近）召见了郭守敬。透着精气和灵性的郭守敬一下子引起了他的注意，这次诏见，郭守敬向他提出了六项水利工程计划，丰富的第一手资料、渊博的知识、科学的设计使他对这个博学的汉人深为赞许。
他还记得，当时他就任命郭守敬为提举诸路河渠，主持掌管全国修河开渠之事，并任命张文谦任河渠副使，帮助并保障郭守敬的后勤供应。他当时就一个目的，就是希望他能挖更多的河，开更多的渠，把旱地都变成水田！
郭守敬也没有让他失望，至元元年（1264年）初夏，忽必烈汗派郭守敬往西夏一带视察黄河河渠水道。到了那里，他立即着手整顿。有的地方疏通旧渠，有的地方开辟新渠，有的地方重新修建起许多水闸、水坝。郭守敬带领工匠、民夫日夜赶工，以最快的速度修复了黄河中上游许多被破坏了的渠道，不但农业生产很快得到恢复，而且这里还成了江北粮仓，为忽必烈灭亡南宋提供了不竭的财源。
如今，时间已经过去二十多年了，当年的提举诸路河渠使早已成为都水监、工部郎中。还是先听听郭守敬的意见吧。
郭守敬叩拜皇帝忽必烈后，忽必烈微笑着对他说：“郭爱卿，自你掌管都水监，掌管河渠、堤防、桥梁、闸坝等的修治工程以来，全国疏浚河道，开挖水渠，兴修水利，朕对你的工作很满意呀！最近，大臣都上书要求开凿运河，利用水道运粮，以节减运力，提高运量，节约成本，我想听听你有什么好的建议？”
郭守敬赶忙回答：“启奏陛下，臣下以为，此乃功在当今，利在千秋之事。”
“噢？你说说为什么？”忽必烈听他这么说，连忙问道。
“陛下你想，如今我大都消费粮食，约十之七八来自于江南，而江浙一带的漕粮沿着江南运河北上入淮河，在淮安由淮河转入黄河之后溯流至中滦镇（今河南封丘西南约30里）；在这里卸船装车，转为陆路运输，到达淇门（今河南浚县西南）；再装船入御河（今卫河），运至直沽（今天津），沿白沙河至通州；最后陆运至大都。如此这般水陆相交，反复装卸，费时又费力，况且这一路虽以河道为主，但河道迂回曲折，运行不畅。因而，尽快在原有的这些运河基础上去弯取直，开凿直穿山东而取直北上的运河河道，使南北实现直航，是当前亟待解决的大事。况且，运河一旦完成，不但减少了运费开支，更重要的是能使子孙万代受益！”
忽必烈看着地图，眼睛在扫视着郭守敬说过的这些地点。他知道，一旦运河沟通南北，那将成为沟通全国的经济命脉，不但有巨大的经济价值，在战略上也有不可低估的作用。财政再困难，也得挖！只有拉直了缰绳，马儿才能任自己驱使。对，就叫它“将马头上的缰绳拉直”运河修筑方案吧。
“好！那朕就命你全权负责运河河渠疏浚开挖工作，帮朕把马的缰绳拉直了！不过，运河开凿是一个浩大的工程，动辄耗资百万，费时费力，绝非儿戏！你一定要先作周密的考察，制定切实可行的规划和措施，然后我们再上马，千万不要重蹈胶州至莱州运河的覆辙，一定要爱惜民力，慎之又慎呀！”忽必烈语重心长地说。
“卑臣愿鞠躬尽瘁，完成皇上的宏愿，造福子孙，留芳千古。”
接受任务以后，郭守敬便马不停蹄搞起了运河开凿的调研工作。他一路翻山越岭，蹚水跃渠，遍访地方群众，走访沿途船工，掌握了大量的第一手资料。在山东境内，看到满路的运粮民工，他更是深有感触。回到工部衙门，他立刻与各位水利专家商量，确定运河开挖方案。
马之贞认为，开挖运河，重点在山东，而山东要开挖运河，只需把黄河和卫河水道沟通即可。要沟通两河，他建议应开凿汶泗新河。此议一提，立即引起郭守敬的重视。
方案很快就拟订出来，并报请忽必烈审批。这个方案的核心是将隋朝完成的、呈扇面展开的大运河，裁弯取直：北端自大都起至通州，保留永济渠河北段，后进入山东德州，再南下聊城、临清、济宁，进入永济渠、山阳渎，经扬州越过长江与江南运河连通，直达运河最南端的杭州。弃“弓”走“弦”后的这条南北大运河，比起扇面展开的隋代运河来，航路缩短2000里。
元世祖欣然同意。
经过一番筹划，至元十七年（1280年），“将马头上的缰绳绷紧拉直”的浩大工程拉开了它最初的序幕。
直通大都的大运河并不在一个水平面上，沿途地势三起三伏，最高处是山东境内的南旺镇，人们将这里称为“南旺水脊”。
保持水源充沛和河面水平，克服悬殊的水位差，以使船只能顺利地爬过“水脊”，成为摆在工部郎中郭守敬面前的一道难题。汶水向西折而东流，泗水折而南流，要使运河有充足的水源，必须要对两河加以改造，郭守敬经过实地考察，精心设计出了爬越“水脊”的方案——
利用东平、马场、南旺等湖泊作为蓄水的水库，用来调节运河水量，同时利用这些湖泊为天然航道。湖畔之间阻隔不通的地段，开掘人工河道以相连接；然后，北引汶水作为水源；在今宁阳的冈城（汶水与洸水分流处）筑坝建斗门，阻遏汶水，使汶水南流入洸水，到任城（今属济宁市）汇入马场湖；再将此水分流南北，南与泗水会合流入淮河，北由任城开河道至须城（今属山东东平）的安山，与大清河相接，以入于海。
此方案需要开掘的河道从济宁任城开始到须城安山，全长约百里，称济州河。
丞相伯颜将此施工方案奏报给了元世祖忽必烈。
元世祖在收到奏折的当日就批准了这个方案，并钦批：“以钞万锭为佣值，仍给粮食，开凿济州河。兵部尚书奥鲁赤、刘都水及精于算数者一人，给宣差印往济州，定开河夫役；同时令大名、卫州新附军亦往助工。”
按郭守敬规划的方案，在兵部尚书奥鲁赤的指挥下，在刘都水的具体监督下，数十万河夫星夜奋战在挖河工地上，挑筑的号子响彻河北、山东，河夫们用号子将弃“弓”走“弦”的宏伟蓝图，化为山河大地上的壮丽景观。
整个河道，南起济州（今山东济宁），北达须城（今山东东平）安山镇，全长150余里。济州河开通后，输运入京的物资便可以先由大清河运至利津，从那里入渤海，出海后沿海道转运至直沽，这样比原来经河南走御河大为便捷。可好景不长，连接济州河段的重要环节——大清河，其入海口为泥沙淤积，通航不便，再加上海上风高浪大，这样便不得不废弃大清河航道，船只通过济州河进入大清河后，只能航行到东阿（今山东东阿以南），再陆行200里至临清入卫河抵达通州。如此下来，虽然只有200多里，但需要常年役使13200多民户来运粮，特别是茌平一段，地势低平，每逢夏秋霖雨，便会泥泞不堪，车马阻滞、输运艰难，民工苦不堪言。这样，在开凿济州河之后，如何解决由东阿至临清这一段路运的困难又提上了元政府的日程。对此许多大臣纷纷上书，奏请朝廷开凿一条连接御河与济州河的运河。
太史院令史边源、寿张县尹韩仲晖向朝廷建议：自安山穿渠至临清通御河。次年十月，丞相桑哥再次提出此议。见这么多的朝臣建言开挖运河，经过认真考虑，忽必烈果断下旨，开凿联通御河与济州河的运河。
于是，郭守敬又一次来到了山东。这次他带着礼部尚书张孔孙及韩仲晖等人，他们勘察了今山东西南的泗水、汶水、御河等主要河流，设计、审订了大运河山东段的河道路线。
要修建这段河道，关键是要爬过地势较高的大清河。年近花甲的郭守敬有着三十多年的治水经验，他首先说道：“要突破地势起伏坡度大的难关，必须采用闸化运道。即沿河修筑船闸，利用两端闸板的此闭彼启，往返控制，调节流量，平衡水面高差，实现运河水位的动态变化，互相阖辟，势如呼吸，这样我们就可以实现由高到低或由低到高的通航了。”
寿张县尹韩仲晖对当地地形地貌比较熟悉，他一听郭守敬的闸化运道，便建言道：“要过大清河，我们可以采用‘引汶绝清’的方案，即在冈城以下，利用泰山西麓地势较高的有利条件，使汶水保持稍高于大清河的水平，绕道北流，积潴于安山，从安山山脚筑闸开沟引入寿张县境内的大清河，再堵绝大清河，迫使河水向北注入通往临清的新沟。针对临清新沟一带坡降较大的地形特征，为防止开建的新渠泻水过快导致运道浅涩，采用筑造节水闸的办法，使南来北往的船只逐闸浮升，以顺利地‘爬’过大清河。”
“好！就采用此方案！”郭守敬一听，大喜道：“这样可以容纳较多的船只顺利通行，又可以达到节约用水的目的，建设完成后就可以实现梯级通航。”
最后，郭守敬补充说道：“这一段，修筑船闸是关键。在建造船闸的时候，一定要充分考虑到地形的变化。大体上采取统一规格，船闸一般长一百尺，阔三十尺，孔间净长四十尺，净阔二十尺，高十尺，可用大条石筑成各长三十尺的‘雁翅’。在地形变化较大的地方和重要的码头之处，则用两闸或三闸串联，配合使用，以保障通航的能力。”
方案又报到元世祖忽必烈那里，元世祖欣然同意。为稳妥起见，至元二十六年（1289年）正月，元政府委派漕河副使马之贞与边源等人再一次进行实地考察。
方案确定后，忽必烈这次拨出钞币一百五十万缗、米四万斤、盐五万斤作为开河经费，又征调民夫三万人，委命断事官忙速儿、礼部尚书张孔孙、兵部尚书李处巽负责工程指挥。至元二十六年（1289年）正月，工程正式动工，仅用半年时间，六月便告工成。这条新的河道，南起须城（今东平）安山之西接济州河，中经东昌（今聊城市）至临清入御河，全长二百五十余里，中间修建闸门三十一座，随时蓄水和排水。因这条运河起于须城安山，初名为安山渠。河道开通以后，河渠官张孔孙等人说：“开魏博之渠，通江淮之运，古所未闻。”忽必烈对此河的开通也十分高兴，亲自赐名为“会通河”。
从理论上将，会通河说来并不算太长，它南起安山，北抵临清，全长二百五十余里，占不到南北长约三千多里的大运河的十分之一。然而，此段因在平地开河，沿途多丘陵，地形高低起伏，所以其技术之复杂、规模之宏大、役工之多、工期之长，无疑是中国运河史上最大的工程之一。它采用划时代的“闸化运道”，突破地势的起伏，凝聚了古代建设者们的杰出智慧和才能。
会通河的开凿，从此结束了山东境内漕运必须周转陆运的历史。元二十八年（1291年），元世祖又从郭守敬建议，役使一万九千多名兵士、五百四十多名工匠、三百多名水手、一百七十多名“没官囚奴”，共用二百八十多万工，开凿了从大都到通州的通惠河，全长一百六十多里。这样，北自大都、南至杭州的大运河贯通起来了，它连接海河、黄河、淮河、长江和钱塘江五大水系，加强了京师与最富庶的江南地区的联系。南北经济、文化的交流开始了一个新的时代，在政治上也起了巩固统一的作用。