这一看似简单的洞见，在当时非常激进，因为它意味着，不存在绝对时间，任何参照系都有其自身的相对时间。曾提出量子不确定原理的伟大物理学家维尔纳·海森堡日后回忆说：“这是对物理学基础的改变，它出人意料，激进而彻底，需要由一个富有勇气和革命精神的年轻天才来完成。”自牛顿使绝对时间的概念成为《自然哲学的数学原理》中的一个前提之后，绝对时间就一直是物理学的一个支柱。它意味着时间“实际”存在着，不依赖于对它的任何观察而自行流逝，绝对空间也是如此。在《自然哲学的数学原理》第一章，牛顿写下了这段名言：“绝对的、真实的和数学的时间本身，依其本性而均匀地流逝，与一切外在事物无关。处处均匀，永不移动。”但即使是牛顿，似乎也对无法直接观察到这些概念感到不满。牛顿承认“绝对时间并非知觉的对象”，他依靠神的在场来帮助他走出这个困境。“神的延续从永恒达于永恒，神的在场从无限达于无限，他构成了延续和空间。”
科学史学家阿瑟·米勒对爱因斯坦在1905年6月底写出相对论时肯定读过、可能读过的书、论文和期刊做了一个系统分类。其发现是，1896至1900年，他能使用瑞士联邦工学院的图书馆。1900至1902年间，苏黎世的图书馆经常对他开放。从1902年开始，他在专利局工作，用专利局自己的资料室以及伯尔尼大学的图书馆。在爱因斯坦的阅读中，对他影响很大的有数学家庞加莱和物理学家洛伦兹。庞加莱在其《科学与假设》一书中，曾指出过牛顿绝对时间概念的缺陷。他写道：“我们不仅无法直接直观到两个时间的相等，而且无法直观到在两个不同位置发生的时间的同时性。”那时，放射性、X射线和阴极射线的发现，使实验室数据的特征发生了变化。这些效应都很可能是由原子和电子这样一些看不见的实体引起的。洛伦兹的电磁理论，则是解释电子质量是如何通过由自己的辐射反作用于它自身生产的。爱因斯坦后来说，他更感谢从苏格兰哲学家休谟那里学到的关于心灵构造（区别于纯粹的事实观察）的怀疑论，这种怀疑论也因他天生的质疑权威的反叛倾向而得到加强。
爱因斯坦在论文中多次使用思想实验，比如运动的火车和出于不同位置的钟表。据说爱因斯坦在与朋友们讨论他的新理论时，曾经用手指向伯尔尼已经校准的钟塔以及附近村里遥遥可见的尖塔上未被校准的钟表。在1905年的瑞士专利局里，像时间标准化和由电缆、无线电报进行传递这样的问题，每天都被讨论着。那一年，美国海军开始从华盛顿特区向其舰队发送时间信号。美国海军部少校爱德华·海登期待着“有一天，无线电报可能会容许一个日常国际时间信号，这个信号能在瞬间抵达每一个大洲和每一片海洋”。《爱因斯坦的钟表，庞加莱的地图》（Einstein’s Clocks，Poincare’s Maps）一书指出，调节钟表、传递和接收装置标准化的问题在当时出现了。1890年，伯尔尼建立了一个由电信号校准的钟表所组成的城市时间网络。当爱因斯坦来到伯尔尼时，许多瑞士人都在研究如何使这些钟表走得更准，并且与其他城市的钟表同步。爱因斯坦在专利局的主要职责，就是对电力设备做出评估，这其中包括用电信号来校准钟表的大量申请。例如，其中一个专利申请名为“安装中央钟表以同时指示不同地点的时间”。就在爱因斯坦与贝索进行那次重要谈话之前仅三周，有一个类似的申请被送到了专利局，它设计用电信号来校准两个带有电磁摆的钟表。这些申请都使用了以光速传播的信号。有意思的是，爱因斯坦相对论论文的整个前两部分几乎都是在讨论他最熟悉的两项实用技术。他谈到了由线圈和磁体“同等的相对运动”所产生的“等量电流”，还谈到了用“光信号”来确保“两个钟表同步”。有传记学家指出：“在专利局获得的知识与相对论的理论结果之间存在着一种确定的联系。”