当被要求用百分比体现自己身上中国教育和西方教育的影响时，张亚勤毫不犹豫地说：“我自己认为，中国教育给我的影响要大些，超过50%。我的知识基础、做人的性格，都是在中国形成的。”
张亚勤坦言，如果留在中国，即使读到了博士，自己也不大可能搞研究，因为“在中国作研究，没有办法做到最好。”这句话很残酷，一针见血，也透露出了张亚勤对中国教育的担忧。
“我对目前中国的教育很有些担忧。十年前我非常有信心，希望看到国内的科研水平与欧美的差距越来越小，但现在感觉这个可能性比较渺茫。现在有种说法：‘中国大学里大楼越来越多，大师越来越少，教授越来越像明星，明星越来越像教授。’学校的很多硬件基础设施比欧美都好，但缺少大师级教授，需要更多学者从事尖端研究。在这个关乎大学根本的层面，虽然不能说我们和国外的差距拉大了，但至少差距没有缩小。”
张亚勤对中国教育的担忧并非杞人忧天，教育界的浮躁心态在各大高校都明显存在。朱清时院士就提出“官本位导致学术倒退”，他在接受《南方周末》采访时就不无担忧地说：“现在大学最大的毛病，就是都追求官位了，官位就是地位，因为在大学里你只要是官位高了什么东西都有了，这十多年我就知道大学里的领导都很容易评成教授。”
经历过中西方教育的张亚勤对朱清时院士的担忧有自己的体会：“把学校行政化，教授分级别，学校管理者分成厅级、副部级，对学校的创新是很不利的。教育要有理想，教育家要有理想。目前的教育评估机制是一种急功近利、过度量化、应试的体制。”张亚勤认为，培养学生的思维方式与创新意识远比知识本身来得重要，“最重要的教育应该是产生思想，学校理应是产生思想的地方。”
正是基于这些清醒的认识和对国内教育现状的担忧，张亚勤一直努力为中国教育建言献策。另外，他也通过在中国多个知名高校担任客座教授和校董的机会，为改进中国教育、科研以及其他方面的发展而作各种努力。
张亚勤也认为对于作研究，高校与企业应该明确分工，扮演好各自的角色。企业是创新的主体，应该更加面向应用。而对于国家的投入方向与大学的研究目标，应该偏向更具长远效益的基础研究：“但现实的情况是，大学忙着做产品，想做公司挣钱，而公司开发的技术又不够市场化。基础研究不够基础，应用技术不够应用。但整体来看，我还是很乐观的，否则我不会在中国建微软全球除美国以外最大的研发机构，不会把那么多重要的研究、项目放在这儿。我们拥有高素质与数量庞大的工程人才、经济发展的活力以及庞大的市场，这些都是优势所在。”
亚勤的话：
现在部分高校过于浮躁，追求短期目标，看重指标和量化。我经常看到有些大学和科研机构宣称他们的发展目标就是培养诺贝尔奖获得者。一旦把拿诺贝尔奖作为目标，就已经出问题了。作为大学的教师和研究者，首先你要喜欢教学生，喜欢你所从事的专业，这样才能为之投入，而这些绝不是可以用一些短期的量化指标来衡量的。现在，一些大学讲求文章发表在什么刊物上、被引用了多少次、参加过多少国际会议，这些东西一旦量化成考核标准，就会形成一种体制问题。长期用这些数量指标来考评，教育是要出问题的。