大河东流是中国西高东低的地形大势所决定的。东西向河流不能给南北交通提供便利，因此，开凿南北大运河解决南北交通运输的宏图大业，便成为历代统治者的愿望。早在春秋时代，吴王夫差想争霸黄河流域，于公元前486年，开凿了沟通长江和淮河的运河——邗〔han含〕沟。这就是南北大运河最早开端。在不断开凿南北之间地区性的人工河的基础上，完成开通南北大运河宏图的是隋炀帝。
隋代统一中国后，南方已成为“鱼盐杞梓之利，充仞八方，丝绵布帛饶覆天下”的富庶地区。隋炀帝的军队和京城都需要大量的粮食和布帛。他要享受江南的繁华，于大业元年(公元605年)兴百万之众，先后用六年时间，在各段旧运河的基础上，开凿了连通黄河与淮河的通济渠、连接淮河与长江的山阳渎、穿连镇江—苏州—无锡—嘉兴—杭州的江南运河。最后又凿通黄河以北诸水的永济渠，到达北京附近的涿郡。至此，一条纵贯南北五大东西水系的大运河就开通了。这样，便形成了以洛阳为中心的全国水运网。运河上出现了“舳舻相接，二百余里”的盛况。
运河的开通，促进了沿岸地区经济发展、城镇繁荣和南北的文化交流。隋唐时代，扬州成为“十万人家”、“十里长街”的繁华都市，“街垂千步柳，霞映两重城。天碧台阁丽，风凉歌管清”(唐杜牧诗)。著名的古城苏州、人间天堂的杭州，成了有名的旅游城。唐诗人杜笋鹤诗《送人游吴》：“君到姑苏见，人家尽枕河。古宫闲地少，水港小桥多。夜市卖菱藕，春船载绮罗。遥知未眠月，乡思在渔歌。”白居易亦不忍离开美丽的西湖，在他的《春题湖上》：“湖上春来如画图，乱峰围绕水平铺。松排山为千重翠，月点波心一颗珠。碧毯线头抽是稻，青罗裙带展新蒲。未能抛得杭州去，一半勾留是此湖。”
随着全国政治中心的转移，运河中心亦随之易地。北宋以开封为中心，元明清以北京为中心。元世祖忽必烈统一中国后，需大量的粮食，主要依赖长江下游地区。经著名水利专家郭守敬的规划设计，开凿山东运河段和北京通惠河，使大运河直通北京城里的积水潭(今什刹海)。至此，北起大都南至杭州的京杭大运河全线贯通。南来的漕船从杭州直航大都城里，泊于什刹海。当时的什刹海“舳舻蔽水”，可见其盛。
清代又对运河的某些河段进行疏浚或改道，使其畅通。因此漕运量大增，最高年份漕粮运量可达580万石，它对北京的繁荣与发展起到了巨大的作用。
京杭大运河全长约1750公里，是世界上开凿最早、航线最长、工程最大的人工运河。它可与跨山越岭的万里长城媲美。这一辉煌工程充分体现中国古代水利、建筑、测量、工程设施等方面的科学成就，反映了古代中国人民的高度智慧和卓越创造。
从邗沟开始，两千多年来，大运河北段虽时塞时通，但江南运河却古往今来，船舶云集，百舸争流。直至今日，南运河仍然是江南交通运输的动脉。北运河也将与宏伟的南水北调工程结合而复兴其南北交通运输的功能。