王安石罢相以后，宋神宗还把王安石定下的新法维持了将近十年。公元1085年，宋神宗病死，年才十岁的太子赵煦（音ｘù）即位，就是宋哲宗。哲宗年幼，由他祖母高太后临朝。高太后是一向反对新法的。她一临朝，就把反对新法最激烈的司马光召到东京担任宰相。
司马光是当时最有名望的大臣，陕州夏县（今山西夏县）人。他的名声，从他幼小的时候已经开始传开了。他七岁那年，就开始专心读书。不论是大伏暑天，或者数九寒冬，他总捧着书不放，有时候连吃饭喝水都忘了。他不但读书用功，而且很机灵。有一次，他跟小伙伴们在后院子里玩耍。院子里有一口大水缸，有个小孩爬到缸沿上，一不小心，掉到缸里。缸大水深，眼看那孩子快要没顶了。别的孩子们一见出了事，吓得一面哭喊，一面往外跑，找大人来救。司马光不慌不忙，顺手从地上拾起一块大石块，使尽力气朝水缸砸去。“砰”的一声，水缸破了，缸里的水流了出来，被淹在水里的小孩也得救了。
这件偶然的事情，使幼小的司马光出了名。东京和洛阳有人把这件事画成图画，广泛流传。
宋神宗在位的时候，司马光担任翰林学士。司马光和王安石本来是要好的朋友，后来王安石主张改革，司马光思想保守，两个人就谈不到一块儿去了。
王安石做了宰相以后，提出的一件件改革措施，司马光没有一件不反对。有一次，司马光向宋神宗提出要求取消青苗法，同时，以老朋友的资格，写了一封信，责备王安石侵犯其他官员的职权，惹是生非，搜刮财富，还拒不接受别人的意见。
王安石写了一封回信，对司马光的四条责难针锋相对地作了反驳。信里说：我受皇上的命令，改革法制，怎能说我侵犯别人职权；为国家办事，怎能说我惹是生非；为天下理财，怎能说是搜刮财富；驳斥错误的言论，怎能说拒绝意见。
司马光接到回信，气得要命。但是眼看王安石有皇帝撑腰，也无可奈何。最后，他辞去朝廷职务，离开京城，到了洛阳，表示不愿过问政事，关起门来写书了。
原来，司马光对历史很有研究，他认为治理国家的人，一定要通晓从古以来的历史，从历史中吸取兴盛、衰亡的经验教训。他又觉得，从上古到五代，历史书实在太多，做皇帝的人没有那么多时间看。于是，他很早就动手编写一本从战国到五代的史书。宋英宗在位的时候，他把一部分稿子献给朝廷。宋英宗觉得这本书对巩固王朝统治有好处，十分赞赏这项工作，专门为他设立一个编写机构，叫他继续编下去。
宋神宗即位以后，司马光又把编好的一部分献给宋神宗。
宋神宗并不信司马光的政治主张，但是对司马光编书却十分支持。他把自己年轻时候收藏的二千四百卷书都送给司马光，要他好好完成这部著作。还亲自为这本书起了个书名，叫《资治通鉴》（“资治”就是能帮助皇帝治理天下的意思）。
司马光罢官回到洛阳之后，就专心写《资治通鉴》，一共花了十九年时间，才把这部著作完成。这部书按历史年代编写，从战国时期公元前403年到五代时期公元959年，记载了一千三百六十二年的历史。
为了写这一部巨大篇幅的著作，司马光和他的助手们收集和整理了大量资料，除了采用历代的正史之外，还参看各种历史著作三百多种。据说，这部书写成的时候，原稿足足堆放了两间屋子。由于它的材料丰富、剪裁恰当和考证严格，加上文字精练生动，所以成为我国史学史上最有价值的著作之一。它对于后来的人研究历史，提供了比较完备的资料。
在整整十九年时间里，司马光把全部精力放在这部著作上面，每天工作到深夜。到《资治通鉴》完成的时候，他的身体已经十分衰弱，眼睛昏花，牙齿大多脱落了。由于他在史学方面作出了贡献，他被认为我国历史上著名的史学家。
司马光在洛阳写了十多年书，但是因为他反对新法出了名，一些保守的官员都很记挂他。他虽然口口声声说不谈政治，但是许多人还把他当作“真宰相”看待，连普通百姓也知道洛阳住着一个司马相公。
高太后临朝执政，把司马光召回朝廷，司马光已经是又老又病了。但是，他反对王安石新法却丝毫不肯放松。他一当上宰相，第一件大事就是废除新法。有人劝阻他说，神宗刚刚去世，马上把他的政治措施改掉，总不大好吧！司马光气呼呼地说：“先皇帝立的法度，好的自然不要去改动，像王安石搞的那一套，却是害民的事，为什么不能改？再说，现在高太后执政，高太后是神宗的母亲，做母亲的改动儿子的主张，有什么不可以？”
就这样，他不顾许多官员的反对，到了第二年（公元1086年），就把王安石建立的新法一古脑儿废除了。王安石听到这个消息，当然十分生气，不久就郁郁不乐地死去。而司马光的病也越来越重，在同年九月咽了气。