朱元璋成功的第二个原因，也是他与普通武夫最大的不同点，是他的知识分子政策。
草莽群雄最容易犯的错误是对待知识分子的态度。一方面，他们因为本身文化程度太低，在知识分子面前难以摆脱自卑感；另一方面，他们的粗豪气质又与知识分子格格不入，十分反感知识分子的酸文假醋。所以，大部分起义军领袖对读书人没有好感，抓到之后多是一杀了之。朱元璋却不一样，也许是受父母的影响，他从小就知道敬重读书人。
正如阿Q之不敢与赵秀才说话一样，投奔起义军以前，朱元璋没“资格”也没机会和读书人打交道。对这些满腹诗书的“老爷”，身处社会最底层的他满怀敬慕，却高攀不上。起义使一切颠倒了。朱元璋领兵自立之初，就有知识分子主动来投奔他。第一位是定远人冯国用。冯国用家境富裕，从小颇读过一些兵书战策，是朱元璋起兵以来接触过的第一个读书人。朱元璋自然受宠若惊，对他十分重视，一有时间就和他聊天。冯国用在他面前展开一幅地图，向他介绍说，集庆这个地方，古称建康，形势极好，古人常说“金陵龙蟠虎踞，帝王之都”。要得天下，就得先占了这个地方，“先拔之以为根本，然后四出征伐，天下不足定也！”
朱元璋有生以来，第一次看到地图。一看地图，周围形势包括天下大局一目了然，不禁大喜。正是在冯国用的建议下，他确定了渡江发展的战略。
在进攻滁州的路上，有一个叫李士元的歙（shè）县（今属安徽省黄山市）人前来求见，他就是日后大名鼎鼎的李善长（据俞本《明兴野记》载，李士元于龙凤二年改名为善长）。李善长头脑清楚，善于料事。“少有志计，读书粗持文墨”，“习法家言，策事多中”，听说朱元璋带兵路过，“谒道旁”求见，想看看这个人是不是个能成事儿的主儿。朱元璋和他一见如故，聊得十分投机。李善长说，我看到您，马上想起一个人来。
朱元璋问：谁？
李善长说：汉高祖刘邦！他和您一样，也是起自草野，现在的形势，和当初的汉高祖刘邦差不多：
秦乱，汉高起布衣，豁达大度，知人善任，不嗜杀人，五载成帝业。今元纲既紊，天下土崩瓦解。公濠产，距沛不远。山川王气，公当受之。法其所为，天下不足定也。
朱元璋也听说过刘邦这个么人，不过从来没有想到过这个人和自己有什么关系。听李善长这么一说，他茅塞顿开，连连点头“称善”。知识分子的种种建议让还在黑暗中摸索的他如同遇到明灯，通往皇位的道路在他头脑中一下子清晰起来。他任命李善长为掌书记，从此将刘邦视为自己的偶像，开始不断钻研他的事迹。
通过与读书人的交往，朱元璋深刻地认识到，“知识就是力量”，知识分子眼界宽，计谋多，用之则为力，驱之则为敌。而且这些人在地方上往往影响巨大，“能左右一方老百姓的态度。把他们争取过来，一方百姓也就跟着过来了”。随着和读书人的接触多了，他也知道请读书人成本不高：只要客气点，给足他们面子，让他们吃得好穿得好，再给个虚职，他们就会感激涕零，为你卖命。“费得不多，赚头极大，真是划算的买卖。”因此，尝到了甜头的他一路征战过程中，遇到读书人，就尽力延揽。甚至在手下的将领出征时，他也经常嘱咐他们，听说哪个地方有知名的读书人，一定要把他们带回朱元璋这里。有时，还派专人携带大量金银财宝，四处打听哪有读书人。
徽州老儒朱升学名很大，攻打皖南时，朱元璋仿效刘备三顾茅庐，“微服从连岭出石门，亲临其室”，向他请教夺天下大计。结果朱升说出了一句名言：“高筑墙，广积粮，缓称王。”
朱元璋听人说，镇江有个读书人叫秦从龙，学问很大。徐达出征镇江的时候，朱元璋特地交代要他去拜访此人。徐达找到秦从龙后，朱元璋又亲派自己的侄儿朱文正和外甥朱文忠带着大批白银、绸缎前去礼聘。秦从龙来到南京后，朱元璋特意到城门外迎接，安排他和自己住在一处，“朝夕访以时政”，“事无大小，悉与咨谋”，“称先生而不名”。每年到秦从龙生日之际，朱元璋“皆有赠遗，或亲至其家，与之燕饮，礼遇甚厚”。这些做法传出去，广大知识分子深受感动。
当时的读书人，大多数曾与农民军为敌，对朱元璋既疑且惧。朱元璋特地宣布：“吾当以投诚为诚，不以前过为过”，只要诚心归附，一概既往不咎。还有一些知识分子瞧不起他这个出身寒微的山大王，嫌红巾军气味不对，躲在山里不肯出来。朱元璋也不以为忤，而是愈加低声下气千方百计，绝不放弃。
当浙东大部平定之后，名士刘基（刘伯温）“自以仕元，耻为他人用”，说什么也不肯出来为朱元璋所用。朱元璋叫处州总制孙炎派人去力请，孙炎于是写了一封洋洋数千言的信，反复说明利害，非要他出山不可，又叫他的朋友陶安和宋濂分别赠诗劝说。刘基实在没有办法，这才勉强出山。龙凤六年三月，他与宋濂、叶琛、章溢三位名士一起来到应天，朱元璋大喜过望说：“我为天下屈四先生耳！”下令在自己住宅西边盖了一座礼贤馆，把他们请到那儿去住。跟刘基说话，从来都称“老先生”，在给刘基的信中这样开头：“元璋顿首奉书伯温老先生阁下”（《慰刘基书》、《谕刘基书》等，见《全明文》），语气恭敬虔诚得无以复加。
朱元璋的知识分子工作，做得很到位。他的谦虚、热情、耐心、豪爽、推心置腹倾倒了大批文化人。许多乱世中生计断绝的读书人，本来通过朱元璋军“不嗜杀人”这一迹象就已经看到了“做稳了奴隶”的希望。如今又得知朱元璋喜欢亲近读书人，便有许多人来投奔，指望依靠朱元璋，重建三纲五常的理想社会。朱元璋的投入获得了百倍、千倍的回报，他们不断对朱讲解各种道理，听得朱喜不自胜。朱元璋说：“我读书，常常从中受益……读书明理，让人在日常事务中能用道理去分判，可以叫人少犯错误。”评论者多认为，朱元璋的知识分子政策是他最终从群雄中脱颖而出的根本。比如方孝孺就说，元末“地大兵强，据名号以雄视中国者十余人，皆莫能得士；太祖高皇帝定都金陵，独能聘至太史金华公（宋濂）而宾礼之……识者已谓天下不足平”。
正是因为知道读书人的作用如此巨大，所以在自己大力招揽任用读书人的同时，朱元璋又制定了一项特殊的政策：不许自己的部下随意任用读书人。他时时刻刻提防自己的将官们和知识分子勾结，因此规定，所有前来投奔的儒士，一律由他亲自考察任用，“禁诸将擅用”。他生怕读书人使这些天不怕地不怕的将军们大脑开了窍，特意规定：“所克城池，令将官守之，勿令儒者在左右议论古今。止设一吏，管办文书，有差失，罪独坐吏。”
这条规定执行得很严格。他的外甥朱文忠在婺州时，将儒士屠性、孙履、许元、王天锡、王祚等读书人收入麾下。朱元璋闻知，因为此时正需要朱文忠效力，所以没有严厉处理他本人，却命朱文忠将这几名儒士押送到应天，一通审问后，将王祚、许元、王天锡发充书吏，将屠性、孙履当众处死。