相传，前秦将军窦滔新结识了一位能歌善舞的女子，纳为妾后，百般宠爱。窦滔的妻子苏蕙为挽回丈夫心意，将840字诗文进行了绝妙的编排，用五色丝线绣成八寸见方的锦缎，无论正读、反读、纵横反复都可以解读出一首诗。窦滔看后回心转意，两人又恩爱如初。
这便是《璇玑图》故事的源头，虽然当时已传为美谈，但还远没有流传千古的影响力。真正使《璇玑图》风行天下的，是300多年后的女皇武则天。
武则天十分喜爱《璇玑图》，亲自作序《织锦回文记》，不仅称赞苏蕙的才华，也为她坚守真爱，凭借智慧从“小三”身边夺回丈夫的行为叫好。
有女皇帝的推崇，又有才女争取爱情的动人故事背景，再加上《璇玑图》本身奇巧绝伦，因而引来文人雅客历时千年的品赏和追捧。
据典籍记载，与《璇玑图》有关的名人有百位之多，其中梁元帝、李白、黄庭坚、朱淑真等都曾歌咏过苏蕙。关汉卿还曾作《苏氏织锦回文》杂剧。清代李汝珍的小说《镜花缘》中辑录了《璇玑图》和武则天的序文，令《璇玑图》更广泛地流传开来。
解读《璇玑图》中的回文诗，成为历代文人的风尚，甚至成为一种比拼才华和智力的竞技。武则天着意推求，得诗二百余首。宋代高僧起宗，将其分解为十图，得诗3752首。明代学者康万民，苦研一生得诗4206首。当前统计，可组诗7958首。