正当台湾经济文化迅速发展、蒸蒸日上之时，1894年(光绪二十年)中日甲午战争爆发。次年，中国惨败，清政府被迫签订《马关条约》，将台湾割让给日本。从此，日本在台湾实行了长达半个世纪的殖民统治。
日本殖民者视广大台胞为“二等公民”，剥夺了他们的一切自由和基本人权，一人“获罪”，株连邻里，稍有反抗，即遭血腥镇压和屠杀。他们肆意霸占农田、森林、猎场，垄断了所有重要农副产品的贸易，把人民的生活必需品列为“政府专卖品”，巧立名目，向台胞征收数不清的苛捐杂税，并利用政治力量，扶植日本垄断资本，排斥、压抑台湾民间资本。
日本殖民者不仅对台湾人民实行残酷的政治压迫和经济掠夺，更在文化上进行精神摧残，强制推行差别教育和强迫同化政策。
日本殖民者把台湾的初等学校分为三种：(一)小学校，专收日本儿童，学校师资、设备最好，经费也最充裕；(二)公学校，专收台湾儿童，师资和设备都很差，经费比小学校少得多；(三)“教育所”，专收“番童”，由警察担任教学，根本谈不上什么设备。教学内容也采取三种不同的课程设制，公学校六年毕业，其程度只及小学校的五年级以下。所有的初等学校一律用日语教学，禁读汉文，并通过所谓“修身”、“历史”等课程，对台湾儿童灌输日本国体观念。
至于中、高等教育，日本殖民者更采取歧视台胞的政策。限制台湾学生升入中、高等学校。凡程度较高的中学，一律只收日本学生。他们设立各种实业学校和职业补习学校，招收台湾青年就读，以培养有一定知识和技能的劳动力供其驱使和奴役。
日本殖民当局十分惧怕台胞有高深学问，刻意限制高等教育的发展。直到1928年才在台北创办了第一所大学即帝国大学(今台湾大学前身)，而且主要是招收日本学生，即便招收为数极少的台湾学生，也只允许他们就读医、农科。据统计，1944年，帝大学生357名，台生仅85名，其中80名学医。而且台湾学生往往“毕业即失业”。
第二次世界大战爆发后，日本侵略者为了巩固台湾这一“南进”的重要战略基地，1937年9月后，在台湾推行“皇民化运动”，将“差别教育”进一步转变为“强迫同化政策”：首先下令禁止使用台语、汉文，强迫使用日语；各级学校一律停开汉语课程，取消报纸汉文版；封闭所有中国寺庙，拆毁各种神像，严禁汉人祭拜祖先，强迫台胞前往日本神社“参拜”，一律改祀日本的“天照皇大神”；又推行“改姓运动”，强迫台胞改用日本姓名，穿日本和服；严禁中国戏曲、音乐和武术继续流传；不许汉人庆祝中国传统的旧历新年等等。 日本殖民者的罪恶目的是企图从破坏台胞世代相传的宗教信仰和风俗习惯入手，进而在台湾灭绝所有的中国传统文化和民族精神，以日本文化取而代之，使广大台胞成为俯首贴耳的殖民奴隶。
日本殖民者实行野蛮的文化摧残政策，激起了广大台胞的强烈不满和反抗。具有强烈民族意识的台湾爱国知识分子采取各种方法，为维护和保存中国的传统文化进行了不屈不挠的顽强斗争。
早在日本霸占台湾之初，不甘臣服的台湾知识分子就曾掀起一股提倡汉学、写旧体诗和搜集地方文献编纂史书的热潮。 日本殖民者实行奴化教育，开办各种类型的学校，台湾同胞则针锋相对，开办汉文“书房”或私塾，“你办一所公学校，我就再办一个私塾”。当时，汉人开办的“书房”、私塾遍及全台，盛极一时。 日本殖民者十分嫉恨，推行“皇民化运动”后，干脆严禁开办私学，下令关闭一切“书房”。但是，许多私塾先生仍不顾禁令，偷偷上课，用闽南语或客家语讲授汉文。
在和日本殖民奴化教育的激烈斗争中，爱国台胞林献堂功劳卓著。1914年，他发动台中爱国人士捐款，自建校舍，解决教学经费，创办了台中第一高等学校(今台中一中)。各地爱国台胞纷纷效法，相继创办了一批私立学校，与日本殖民当局办的“官校”相抗衡。据统计，1938年，台湾各种私立学校多达20所(不包括私塾)。
日本据台后不久，台湾知识界人士自发地在全台各地纷纷组织起各种名目的“诗社”、“文社”等文艺团体。他们读汉文书籍、写汉字、作汉诗、创办文艺刊物，兴起一股声势不小的“汉学运动”。其中比较著名的诗文家有连横、洪弃生、胡南瞑等人。他们的名作如《台湾通史》(连横)、《寄鹤斋诗文集》、《瀛海偕亡记》(洪弃生)、“五曲”(胡南瞑)，至今仍影响很大。
“五四”运动以后，台湾文艺界受祖国大陆新文化运动的影响，面貌为之一新。20年代，以张我军、赖和为代表，大力提倡白话文，反对旧文学，提倡新文学。其中影响较大的知名作家还有杨云萍、蔡秋桐、黄石辉、杨守愚等人。他们结成团体，用白话文创作了许多揭露日本殖民统治下黑暗现实生活的新文学作品，产生了很大影响。
20年代末至30年代中期，台湾文艺进入了新的蓬勃发展的成熟期。“南音社”、“台湾文艺联盟”等进步文艺团体如雨后春笋，纷纷创立，十分活跃，涌现出一大批才华横溢的新文学知名作家，如杨逵、吴浊流、郭秋生、张深切、黄得时、杨华、巫永福、廖汉臣、王琅等人，他们创办了不少文艺刊物，创作了许多充满时代精神、富有强烈民族意识的新文学作品。
30年代末至40年代中期，日本殖民者为配合“皇民化运动”，对台湾文艺界残酷围剿，所有进步文艺刊物被迫停刊，台湾新文学运动遭到空前摧残。但是爱国进步的文艺家仍不甘屈服，有的潜回大陆，有的转入“地下”，有的采用隐晦、曲折的笔法坚持写作，在极端困难的条件下，与日本殖民者的文化钳制政策和所谓“皇民文学”巧妙周旋和斗争，仍有不少佳作问世。
在日本殖民统治的50年间，台湾爱国知识分子含辛茹苦、不畏艰险，为维护和保存祖国的传统文化进行了艰苦卓绝的斗争，使日本殖民者不但没有能够达到消灭中国文化的罪恶目的，相反，却使中国文化在祖国宝岛台湾更加深入人心。随着1945年日本战败投降，台湾重归祖国怀抱，中华文化重放异彩！