章学诚在《文史通义》中多次论述文集的起源：“子史衰而文集之体盛，著作衰而辞章之学兴。文集者，辞章不专家，而萃聚文墨，以为龙蛇之菹也。后贤承而不废者，江河导而其势不容复遏也。经学不专家，而文集有经义；史学不专家，而文集有传记；立言不专家，而文集有论辩。后世文集，舍经义与传记、论辩三体，其余莫非辞章之属也。”章氏虽向以思想深刻为人所称，可将文集勃兴归结为学术衰微和人情浇薄却大可商榷。文集盛与子史衰没有必然联系，如东汉魏晋南北朝和唐宋史学和文学都很兴盛，范晔与谢灵运既可同时，苏轼与司马光也不妨并世。战国时期诸子百家争鸣，并没有妨碍屈宋等人的楚辞兴盛。如果不以儒家有色眼镜来看，六经中有史体，有子体，也有诗文，以今天的知识分类《诗经》就属于诗集，《礼记》也有许多议论。张舜徽先生在《广校雠略》中说：“著述文字，无外三门：抒情一也，说理二也，记事三也。”被章学诚视为“先王之政典”的“六经”，就兼具抒情、说理和记事三种文字。抒情是人类的内在需求，我们不只有事实需要记叙，也不只有道理需要阐明，还有情感需要抒发。《汉书·艺文志·诗》小序说：“《书》曰：‘诗言志，歌咏言。’故哀乐之心感，而歌咏之声发。诵其言谓之诗，咏其声谓之歌。”《诗经》中的许多诗歌产生年代早于六经中的有些文字。《隋书·经籍志·集部》总序说：“唐歌虞咏，商颂周雅，叙事缘情，纷纶相袭，自斯以降，其道弥繁。”可见，不是经、史、子衰落后才产生集，而是集与经、史、子同时产生。
《汉书·艺文志》基本是向、歆父子《七略》的节删，其中的《诗赋略》其实就是后来的“集部”。除“《河南周歌诗》七篇”和“《周谣歌诗》七十五篇”等可能是先秦作品外，《诗赋略》中收录的诗歌主要是汉诗，因为汉以前的诗歌总集《诗经》后世成为儒家六经之一，已入《汉书·艺文志》的《六艺略》。收录的“赋”也主要是汉赋，战国和秦代的辞赋比例很小，其中汉辞赋集有五十三种，共收辞赋共九百四十篇，战国和秦代辞赋集只有五种，共收辞赋仅六十四篇。
关于文集起源的时间，《四库全书总目·集部总序》说：“集部之目，楚辞最古，别集次之，总集次之，诗文评又晚出，词曲则其闰余也。古人不以文章名，故秦以前书无称屈原、宋玉工赋者。洎乎汉代，始有词人。迹其著作，率由追录。”四库馆臣将西汉刘向编《楚辞》作为文集的源头。《汉书·艺文志·诗赋略》中有《屈原赋》二十五篇、《宋玉赋》十六篇，但并无“楚辞”之名，自刘向将屈原、宋玉等人辞赋编为一集才定名《楚辞》，“楚辞”得名大概缘于此体创自楚人。古典文献学分类中，《楚辞》不仅是“最古”的集部，也是最早的总集。假如打破儒家的传统眼光，去除封建意识形态的成见，按现代的学术和知识分类，我国最早的诗歌总集当属《诗经》。
《汉书·艺文志》有《诗赋略》，是因为当时子史之外的文体只有诗赋。日益丰富的社会生活自然需要多种多样的文体来表现，东汉以后涌现出许多新的文体，有许多零碎的记叙文不能归入史书，有许多庞杂的论说文不能归入子书，有许多抒情作品不能并入诗赋，有许多应用文更无类可归。这些诗文或其记事可以证史，或其议论可以明理，或其抒情直指人心，作者本人十分珍惜它们，社会上也有不少读者，于是，就由本人或由他人将写于各个时期的作品集中起来编辑成册，这就是别集的由来。别集数量庞大后就出现了总集，总集不过是别集的汇编或选编。
魏晋南北朝时期新文体大量涌现，仅《文心雕龙》中论述到的文体就有二十多种，学者和文人都开始对文体进行归类，这样就出现了“文”“笔”之分—— “有韵谓之文，无韵谓之笔”。
《文心雕龙》中属于“文”类的文体就有“骚”“诗”“乐府”
“赋”“颂”“赞”“祝”“铭”“箴”等十几种，属于“笔”的文体也有“杂文”“史传”“论说”“诏策”“檄”“移”“封禅”“章”“表”“奏启”“议对”“书记”等十余种。《诗赋略》显然涵盖不了魏晋南北朝出现的这些新文体，南朝宋齐时王俭《七志》改称《文翰志》，梁朝阮孝绪《七录》又改为《文集录》，他在《〈七录〉序》中阐释改名原因说：“王（即王俭）以诗赋之名，不兼余制，故改为《文翰》。窃以倾世文词，总谓之集，变‘翰’为‘集’，于名尤显，故序《文集录》为内篇第四。”王俭以《诗赋略》“不兼余制”而改《文翰志》，阮孝绪以“文词总谓之集”而改为《文集录》。可见，将各种文体汇编成文集在梁时已成风习，社会上出现了很多总集和别集才会有“文集录”。《文集录》后来顺理成章地成了《隋书·经籍志》的“集部”。
就图书分类源流而言，“《隋志》《四库》为《七略》《七录》之后裔”，《诗赋略》更直接是后世“集部”的前身。