蒋介石上台后不久，到安徽巡视。在到安庆之前，他已经去了合肥、贵池等地，所到之处，无不受到热烈欢迎。蒋到安庆前，曾表示要到安徽大学视察，并发表演讲，但被校长刘文典断然拒绝，并称：“大学不是衙门！”但蒋介石还是按计划到安大视察，可当他进入校园后，到处冷冷清清，没有预料中的“欢迎如仪”的隆重场面，甚至连学生都没碰到几个。刘文典更是连面都不露，只是派了几个人来接待。蒋介石心中极为不快，但即便如此，他还是强撑着视察完安大。
据说，蒋介石到安大视察前，省政府通知刘文典安排学生夹道欢迎“北伐名将”蒋主席。刘文典当时正在打麻将，看完通知后直接扔进痰盂里，继续他的牌局，并说：“我手中‘将’这么多，还稀罕他那个‘将’？”
1928年，安徽大学发生学潮，蒋介石召见刘文典问话。见面时，刘称蒋为“先生”而不称“主席”，蒋非常不满。蒋要刘交出在学潮中闹事的共产党员名单，并严惩罢课的学生。刘说：“我不知道谁是共产党。你是总司令，就应该带好你的兵。我是大学校长，学校的事由我来管。”说着，二人火气都上来了，相互拍桌大骂，蒋骂刘“你是学阀”，刘则骂蒋“你是新军阀”。蒋介石恼羞成怒，当场打了刘文典两记耳光，并给他定了个“治学不严”的罪名，把他关进了监狱。也有说法称，刘文典在蒋介石打其耳光后，不甘示弱，一脚飞踹向蒋介石的肚子。
刘文典见蒋介石之前曾扬言：“我刘叔雅并非贩夫走卒，即是高官也不应对我呼之而来，挥手而去！我师承章太炎、刘师培、陈独秀，早年参加同盟会，曾任孙中山秘书，声讨过袁世凯，革命有功。蒋介石一介武夫耳！其奈我何！”
这场争论还有几个版本：
刘兆吉在《刘文典先生遗闻轶事数则》里记载：刘文典“因有怨气，见蒋时，戴礼帽着长衫，昂首阔步，跟随侍从飘然直达蒋介石办公室。见蒋介石面带怒容，既不起座，也不让座，冲口即问：你是刘文典吗？这对刘文典正如火上加油。也冲口而出：‘字叔雅，文典只是父母长辈叫的，不是随便哪个人叫的。’这更激怒了蒋介石，蒋一拍桌子，怒吼道：‘无耻文人！你怂恿共党分子闹事，该当何罪？’刘文典也应声反驳蒋介石所言为不实之词，并大声呼喊：‘宁以义死！不苟幸生！’躬身向蒋碰去，早被侍卫挡住。蒋介石又吼：‘疯子！疯子！押下去！’”
1928年12月3日，《申报》登载《蒋主席严斥安大生捣乱女中》一文，文中这样描述刘、蒋冲突：
等大家都坐定后，蒋介石先问程勉：“女中被毁，你有何要求？”程勉回答道：“只求保障学校安宁，学生得以安心上学，其他的就不计较了。”
蒋介石转而问刘文典：“你打算如何处理肇事的学生？”刘文典并不理会，兀自冷冷地回答：“此事内容复杂，尚有黑幕，在事情尚未调查清楚之前，我不能严惩肇事学生。”
看到刘文典这副态度，蒋介石气得“腾”地站起身，拍着桌子，勃然发怒：“教不严，师之惰，学生夜毁女校，破坏北伐秩序，是你这新学阀横行，不对你撤职查办，对不起总理在天之灵！”
刘文典也毫不含糊，“嗖”地站了起来，与之直面相对，语调依然是不紧不慢、从容不迫：“提起总理，我和他在东京闹革命时，还不晓得你的名字呢。青年学生虽说风华正茂，但不等于理性成熟，些微细事，不要用小题目做大文章。如果说我是新学阀的话，那你就一定是新军阀！”
时任国民党安徽省党部指导委员会秘书石慧庐记录：
蒋介石盛怒之下，大骂安大学生代表们，骂了又坐下，稍停一下，站起来又开骂，训了学生一顿之后，转过来便责备两校的校长。女师校长程勉，是安徽教育界老辈程筱苏的儿子，他坐在那里恭听责备，一言不发。蒋又转向安大校长刘叔雅大加责难，说他对学生管教无方。叔雅和蒋对话间发生冲突，在座的都为之色变。蒋指着刘怒斥：“看你这个样子，简直像个土豪劣绅！”刘也大声反骂：“看你这个样子，简直就是一个新军阀！”蒋立时火气冲天，大声地喊叫：“看我能不能枪毙你！”此时刘站起来一跺脚：“你就不敢！凭什么！”蒋大吼：“来人，把他扣押起来！”立即冲进来两个卫兵，把刘拖下。
还有一种版本来自于高伯雨的《刘文典与蒋介石》：“刘先生入室，不脱去帽子，昂然坐下，不向主席行礼致敬。老蒋见了已大不高兴，又见他打开烟盒拿出一根香烟，擦着火柴猛抽。就斥他为人师表，又是国立大学校长，如此无礼，刘先生只顾仰天喷出烟圈，然后以极鄙夷的态度，哼了一声。蒋介石大怒，立即下令扣留查办，消息传出后，教育界哗然。”
但是，根据刘文典本人的叙述，蒋介石并没有动手打他，他说：“我一生除被一位老和尚打过，没有谁敢打我，蒋介石虽然把我关进了牢房，并不敢动手打我。”
刘文典被羁押后，安庆的学生举行示威游行，高呼“保障人权”，要求释放刘文典。听说刘文典被蒋关押后，刘夫人张秋华赶到安庆，痛斥政府昏聩：“叔雅要到安徽来，我反对，不要他来。安徽的教育不是学者办的，是政客办的，所以现在吃亏了。”一个月后，在蔡元培、胡适、蒋梦麟等人的多方营救下，经陈立夫从中斡旋，蒋介石释放了刘文典，但要求他“即日离皖”。
1928年12月5日，刘文典被释放。据说，当来人打开关押刘文典的后乐轩的楼门，恳请刘文典下楼时，刘死活不肯出来：“我刘文典岂是说关就关、说放就放的！要想请我出去，请先还我清白！”来人哭笑不得，只得好言相劝，刘文典这才罢休。
刘文典的老师章太炎听说此事后，特于病中作联相赠，将刘比作敢于顶撞权贵的“祢衡”，称赞弟子的气节，联云：“养生未羡嵇中散，疾恶真推祢正平。”
刘文典后来告诉冯友兰，当被蒋介石囚禁时，他已经做好了杀身成仁的心理准备，“我若为祢正平，可惜安庆没有鹦鹉洲。我若为谢康乐，可惜我没有好胡子。”
1931年12月11日，鲁迅以佩韦为笔名，在《十字街头》第一期发表《知难行难》一文说：“安徽大学校长刘文典教授，因为不称‘主席’而关了好多天，好容易才交保出外。”鲁迅文中还不忘讽刺胡适：“老同乡，旧同事，博士当然是知道的，所以‘我称他主席！’”
实际上，胡适在营救好友刘文典时不遗余力，事后亦撰文抨击国民党的专制独裁说：“又如安徽大学的一个校长，因为语言上顶撞了蒋主席，遂被拘禁了多少天。他的家人朋友只能到处奔走求情，决不能到任何法院去控告蒋主席。只能求情而不能控诉，这是人治，不是法治。”
刘文典获释后，因蒋命其“即日离皖”，他离开安徽大学。刘文典当初接受安徽省政府的邀请回来办学，原本一心想重振安徽教育，为此，他内心极为沉痛：“这次回来，在祖父坟上掘了一个大坑，来害自家的子弟，个人身败名裂不足惜，公家事被我误尽了。”离开安大时，他特意留函劝诫全校师生，“安心向学，努力教务”。