吕雉出嫁之时还有一个令她非常难办的问题：刘邦已经有了一个非婚生的儿子刘肥。《史记·齐悼惠王世家》：“其母外妇也，曰曹氏。”《汉书·高五王传》：“其母高祖微时外妇也。”
两部史书都称曹氏为“外妇”，所谓“外妇”，是指外遇之妇。所谓“微时”，就是未发迹之时。可见，刘肥不是刘邦和吕雉的亲生之子，刘肥的生母姓曹。《史记》、《汉书》仅有这么一个简短的记载，至于这位曹姓女子的详细身份，我们已经无从得知了。
刘肥是刘邦与吕雉结婚之前所生，还是与刘邦结婚之后所生？史无明载。可能性较大的是刘肥出生在刘邦与吕后结婚之前：
第一，刘肥比刘盈年长；
第二，吕雉没有对刘肥出生做出任何反应。
根据这两点，我们可以推断：不到二十岁的吕雉嫁给了四十一岁的中年亭长刘邦，而且，这位亭长虽然没有正式结婚，却有了一位未婚生育的儿子。
史书也没有关于刘肥出生时间的记载，如果刘肥出生得较早，很可能吕雉初婚时的年龄与刘肥的年龄相差无多。如果真是如此，吕雉与刘肥的相处会更困难。一般来说，年轻的继母很难和一位成年的非婚生儿子建立起比较亲密的关系。
刘肥跟着谁长大的？这一点史书也没有记载。
史书记载了刘邦的另外一个儿子刘长因母亲自杀而亡无人抚养，于是，刘邦让吕后抚养刘长，但是，那时刘邦已经当了皇帝。当了皇后的吕后抚养一个孩子，并不费劲，因为，带孩子的许多具体事情并不需要吕后亲自动手处理。
如果刘肥与吕雉生活在一起，对吕雉来说，就更为困难了。一位不满二十岁的少妇，却要和一位与自己年龄相差无几的大儿子朝夕相处，其间的种种困难更难详述。
刘邦当皇帝的第二年（前201年，高祖六年）封刘肥为齐王，统辖齐国七十多座城市。刘邦所封诸子之中，齐王刘肥的封地最多。
而且，刘邦还非常破例地下了一道命令：“诸民能齐言者皆予齐王。”（《史记·齐悼惠王世家》）即把能够讲齐地方言的人全部迁到齐国。
秦末大起义和四年的楚汉战争使天下不少人被迫离开故土，齐地百姓迁居他乡的人非常多。刘邦为了壮大齐王刘肥的力量，命令天下会讲齐地方言的人都迁回齐地居住。
经过秦末和刘项之争的战乱，各地人口死亡的现象非常严重。
齐王刘肥的封地已经非常大了，所欠缺的是人口。由于有了这道诏书，从齐地流亡他乡的齐人都得返回齐地，这对刘肥来说非常有利。因为，人口增加，意味着赋税、兵员都增加了。
这是非常破例的一道王命。我们在史书中没有看到类似的王命。
这道王命的出台可能有两点原因：
第一，刘邦对这位庶长子相当不错，和这位曹姓“外妇”的感情应当说也不错；
第二，刘肥年长，较为成熟，有能力管辖人多地广的齐地。
刘邦封刘肥为齐王会不会影响到刘邦和吕雉的感情？我们今天在史书中间看不到任何这方面的记载。
吕雉和庶长子刘肥的关系有一个时间因素。新婚之际，年轻的吕雉面对刘肥，确有很不舒服的感觉。
首先，吕雉的无奈。
吕雉与刘邦的婚姻是她的父亲吕公指定的，吕雉没有选择的权利，她只能被动接受这种婚姻现实。即使刘邦有一个非婚生的儿子，吕雉也只能被动地接受。
其次，吕雉的善良。
在刘邦发迹之前，吕雉对刘肥没有任何苛刻之举，这对一位丈夫长自己二十多岁的少妇来说，实属不易。
我们可以设想一下，一位不满二十岁的新婚少妇，却要面对一个和自己年龄差不多的大儿子，相互的接受，非常复杂。特别是男孩子，接受一位非亲生的母亲，一般要有一个适应的过程。
按照正常情况，吕雉结婚第二年就有了自己的亲生儿子。一位母亲，有了自己的亲生儿子后，与非婚生儿子的相处就更为困难。
面对一个亲生、另一非亲生的两个儿子，吕雉能否一碗水端平呢？
偏爱亲生儿子是人的天性，年轻的吕雉在处理亲生儿子和非亲生的刘肥关系这一问题上可能会遇到不少困难。史书没有这方面的任何记载。但是，这个问题却是非常现实的。
有人认为：刘肥没有和刘邦生活在一起，而是寄养在曹姓女子家中。此说只是一个推论，因为我们今天没有任何资料说明刘肥寄养在曹姓女子家中。
刘邦称帝之后吕后与刘肥的关系，与初婚时期吕雉与刘肥的关系有了较大变化：
第一，曹姓“外妇”早已不构成对吕后的威胁。
没有任何史料说明刘邦和曹姓“外妇”后来还有多少联系。刘邦是四十一岁左右与吕后成婚，四十六岁刘邦有了嫡长子刘盈，四十八岁起兵反秦。从此，刘邦与吕后分居长达六年多。
项羽封刘邦为汉王后，刘邦认识了一位能歌善舞的戚夫人。因此，此时威胁吕后地位的早已不是这位比吕后年长得多的曹姓“外妇”，而是年轻貌美的戚夫人了。
第二，吕后的皇后为刘邦所封。
吕后的皇后是刘邦所封。因此，精明的吕后当然不能因为一个早已不成为威胁的曹姓“外妇”之子刘肥而与刘邦结怨。
但是，这并不能说吕后对刘邦看重刘肥毫无反应。刘肥封地太多，吕后是有看法的。后来，刘肥齐地的三个郡相继被吕后用各种方法夺去，正是吕后不满的具体表现。只是刘邦在世、刘肥初封时吕后没有表现出来罢了。
吕后在未掌握国家大权之前，确有她善良温顺的一面。