司马迁本人对于秦始皇的一统大业是非常赞赏的，为了“为尊者讳”，司马迁在《秦始皇本纪》中没有提到上面的传闻，只是说“秦始皇帝者，秦庄襄王之子也。庄襄王为秦质子于赵，见吕不韦姬，悦而取之，生始皇”。然而在《吕不韦列传》则书写了这一传闻，由此可见司马迁的目的。
认为秦始皇不是吕不韦的儿子的人还发现了《史记》对秦始皇记载的破绽。《史记》中写道：“姬自匿有身，至大期时生子政。”所谓大期，是指十二个月之后分娩。按照常理，女子发现“有身”，要到孕后一两个月。那么赵姬归于子楚后居然还能是十二个月后分娩，这实在是违反生育规律的事情！
从赵姬的出身看，说秦始皇是吕不韦的儿子，也有很多的疑点。《秦始皇本纪》中记载道：“十八年，大兴兵攻赵，……秦王之邯郸，诸尝与王生赵时母家有仇怨，皆坑之。”在《吕不韦列传》中，当赵国要杀子楚妻子(即赵姬)时，又说“子楚夫人赵豪家女也，得匿，以故母子竟得活。”由此明显可以看出赵姬是出身豪门的。既然她出身豪门，又怎么可能先做吕不韦的姬妾，再被献作子楚的妻子呢？
如果赵姬是“邯郸诸姬绝好善舞者”，她又哪儿来的那么多的仇家？这个相互矛盾之处，表明了关于秦始皇是吕不韦的私生子的传闻存在着明显的漏洞。一些历史学家还认为，从史料的记载看，秦始皇并没有把吕不韦当作他自己的亲人。
子楚死后赢政继位，当时赢政年龄还小，而吕不韦则权倾一时，国家大权几乎都掌握在太后和吕不韦的手中。加上后来的嫪毐的加入，更让秦始皇日渐将包括吕不韦在内的这些人视为隐患。后来赢政一天天长大，对吕不韦原来与母亲以及现在嫪毐与母亲的淫乱关系更加深恶痛绝。
后来，秦始皇杀掉嫪毐的三族及其与母亲生的孩子，嫪毐本人则被车裂，吕不韦也受到了牵连。秦始皇对吕不韦的处理是很讲策略的。他知道自己能登上王位，与吕不韦有很大关系，并且吕本人的威望很高。于是他写信质问吕不韦说：“你对秦国有什么功劳？秦国却封你在河南洛阳，食十万户；你和秦国有何亲？却被秦国号为仲父。”实际上秦始皇的这句话中已足见吕、赢之间是没有任何父子之情的。最后吕不韦被迫徙蜀又被迫服毒自杀，就可以明证。
对《史记》的怀疑仍然遭到很多学者的反对。他们认为虽然司马迁的记载中有很多自相矛盾之处，但是他的著史风格相当严谨，所以在没有确凿证据怀疑《史记》关于秦始皇身世记载的时候，就不能随便怀疑《史记》的记载。这样关于秦始皇身世的两个截然不同的版本，也就仍旧没有定论。到底秦始皇是谁的儿子？这仍然是一个谜。