除了教育百姓外，朱元璋还要抓官员队伍的思想建设。
朱元璋做事的特点是考虑极为长远。在与元朝作战之时，他已经想到了未来王朝的巩固问题。所以，遇到那些宁死不屈的元朝官员，他权衡利弊后，挑出几个，大加表彰，借此在自己的大臣中树立“忠”的观念。
元太平路总管靳义在太平城破时投水自杀，朱元璋称之为“义士”，下令“具棺敛葬之”。元将领福寿死于集庆，石抹宜孙死于处州，余阙死于安庆，他也一一加以礼葬和祠祀，以彰其“忠”。他夸奖福寿说：“疾风知劲草，板荡识忠臣，其福寿之谓乎？为人臣者当如是也。”
蔡子英为元至正中进士，累官至行省参政。元亡被明兵捕获，押至京师。朱元璋久闻其名，以礼遇之，但蔡子英不为所动，在羁所大哭不止。
“人问其故，曰：‘无他，思旧君耳！’”朱元璋闻听，十分感动，“洪武九年十二月命有司送出塞，令从故主于和林。”命人给了车马路费，送他到北方草原去找北元皇帝去了。这一出人意料的举动，有力地向天下人宣示了他对“忠诚”这一品质的推崇。
朱元璋善于招揽人才，许多故元的将领文臣投奔到他的麾下，为他的事业作出巨大贡献。在奔向帝位的途中，他对这些人毕恭毕敬，遵礼有加，比如刘基因为做过元朝臣子，不想出山，朱元璋绞尽脑汁，想尽了各种办法劝他出来，又对刘基非常尊重，每次都“称老先生而不名”。
然而，开国之后，当这些人的重要性降低之后，朱元璋的态度出现了微妙的变化。
刘基为朱元璋的事业，可以说尽了肱股之力。没有刘基，也许就没有朱元璋的天下。因此，当元顺帝北逃、皇子买的里八剌被送到南京时，他和其他开国元勋一样，欢欣鼓舞，文思泉涌，写了一封祝捷文章，正要给朱元璋送上时，朱元璋却下了这样一道诏书：
“因命礼部榜示：凡北方捷至，尝仕元者不许称贺。”做过元朝官员的人，不要参与庆贺。
这对以刘基为首的在元朝当过官的人的精神打击可想而知。朱元璋的意思表达得很清楚，以“忠臣不事二主”的标准，刘基易主求名，是“大节有亏”，犯了原则性错误，是不可饶恕的。因此在大封功臣之时，只封他一个伯爵，不久就把他赶回家里，最后还听任其政敌将他害死。
元翰林学士危素在元亡之际曾投井自杀，却被救出。朱元璋听说此事，认为其人忠义可用，把他招来安排在自己身边做侍从文官，十分信任。危素也卖命尽职，为朱元璋做了许多工作。可是天下大定之后，朱元璋看他就有些不顺眼了。有一天，朱元璋坐在东阁侧室的屏风后面，危素从屏风外慢步走来，履声橐橐（tuó）。
朱元璋问：“谁？”
危素答道：“老臣危素。”
朱元璋嫌他自称老臣，就嘲笑说：“我只道是文天祥来！”
元顺帝有头大象，能在宴会上起舞助兴。明军攻入大都后，把它运到南京。有一次朱元璋宴请群臣，叫人把大象牵来，要它起舞，这头大象却趴在地上不动。朱元璋一气之下，下令把大象宰了。第二天，便借这件事，叫人制作两块木牌，一块写着“危不如象”，一块写着“素不如象”，挂在危素的左右肩，把他羞辱一通。
后来，御史王著等人上书，弹劾危素是亡国之臣，“不宜列侍从”，朱元璋下诏把他贬到和州去看守余阙庙。不到一年，危素便郁闷而死。
这样的例子不止危素一个。许多元朝降臣都是“始虽荣遇，终必摒辱”。