宋神宗即位以后，司马光又把编好的一部分献给宋神宗。
宋神宗并不信司马光的政治主张，但是对司马光编书却十分支持。他把自己年轻时候收藏的二千四百卷书都送给司马光，要他好好完成这部著作。还亲自为这本书起了个书名，叫《资治通鉴》（“资治”就是能帮助皇帝治理天下的意思）。
司马光罢官回到洛阳之后，就专心写《资治通鉴》，一共花了十九年时间，才把这部著作完成。这部书按历史年代编写，从战国时期公元前403年到五代时期公元959年，记载了一千三百六十二年的历史。
为了写这一部巨大篇幅的著作，司马光和他的助手们收集和整理了大量资料，除了采用历代的正史之外，还参看各种历史著作三百多种。据说，这部书写成的时候，原稿足足堆放了两间屋子。由于它的材料丰富、剪裁恰当和考证严格，加上文字精练生动，所以成为我国史学史上最有价值的著作之一。它对于后来的人研究历史，提供了比较完备的资料。
在整整十九年时间里，司马光把全部精力放在这部著作上面，每天工作到深夜。到《资治通鉴》完成的时候，他的身体已经十分衰弱，眼睛昏花，牙齿大多脱落了。由于他在史学方面作出了贡献，他被认为我国历史上著名的史学家。
司马光在洛阳写了十多年书，但是因为他反对新法出了名，一些保守的官员都很记挂他。他虽然口口声声说不谈政治，但是许多人还把他当作“真宰相”看待，连普通百姓也知道洛阳住着一个司马相公。
高太后临朝执政，把司马光召回朝廷，司马光已经是又老又病了。但是，他反对王安石新法却丝毫不肯放松。他一当上宰相，第一件大事就是废除新法。有人劝阻他说，神宗刚刚去世，马上把他的政治措施改掉，总不大好吧！司马光气呼呼地说：“先皇帝立的法度，好的自然不要去改动，像王安石搞的那一套，却是害民的事，为什么不能改？再说，现在高太后执政，高太后是神宗的母亲，做母亲的改动儿子的主张，有什么不可以？”
就这样，他不顾许多官员的反对，到了第二年（公元1086年），就把王安石建立的新法一古脑儿废除了。王安石听到这个消息，当然十分生气，不久就郁郁不乐地死去。而司马光的病也越来越重，在同年九月咽了气。