正值作家的黄金写作期，“文革”却开始了。孙幼军任教的外交学院被撤销，全校教职员工都要从北京搬到江西农村，去走“五七道路”，连七八十岁的老教授和刚出生两个月的娃娃也不例外。带不走的大量书籍，只能被当作破烂按8分钱1公斤卖掉，来不及卖的，只好烧掉。学校在空地支了一口焚烧炉子，老教授们流着眼泪把祖辈留下来的绝版外文书送进炉火中。孙幼军也在其中，他叹息着，沉默地看着视若珍宝的书和日记化成灰烬。将近15年时间里，他一个字也没写。
直到1980年，孙幼军才重新提起笔，此时的他已经是两个孩子的父亲。为了追回失去的时间，孙幼军异常勤奋。“他的房间西晒，一到夏天简直像进了蒸笼。”朱景彦说，“当时还没有空调，他把两条毛巾蘸满凉水，分别顶在脑袋上，围在脖子间。”水滴答滴答往下滴，孙幼军却只顾奋笔疾书，直到脑袋和脖子把毛巾都捂热了，才赶紧冲到厨房再换水。有时候，儿子半夜起来上厕所，发现父亲房间的门缝里还漏着光。“第二天早上8点，他还得赶去教室上课。”长此以往，朱景彦有些担心丈夫吃不消，“但他却很快乐”。
《小布头奇遇记》却渐渐成了孙幼军的一块心病，听到的赞扬话越多，他越觉得不该有这样严重的缺陷。“就像把我拍的一帧连焦距都没调准的照片拿到摄影展上展出。一想到有那么多人的眼光射向它，我就觉得浑身不自在。”孙幼军甚至开始反感别人介绍自己是“《小布头奇遇记》的作者”，他跑到出版社说：“这本书太陈旧了，还在讲人民公社呢，早不适合今天的孩子，不要再印了！”但实际上，《小布头奇遇记》的印刷册数超出新书的两三倍。为了得到出版社的支持，孙幼军借口“做些修改”，但心里想的却是“埋葬小布头”。
就这样，《小布头奇遇记》被搁置起来，一搁就是4年多。但孙幼军却并未得到安宁，他常常收到当年的小读者写来的信，多数是要给自己的孩子也买本《小布头奇遇记》，却在书店里怎么也找不到。甚至还有读者在信里夹着邮票和现金，央求无论如何要帮他们买一本。直到孙幼军把珍贵保存的第一版图书也送掉了，他才意识到，想要“埋葬小布头”并不明智。有了这些动力，他终于把《小布头奇遇记》修改出来。新版的《小布头奇遇记》去掉了人民公社的相关词汇，弱化了粮食宣传的背景，强化并丰富了“勇敢”的主题。
读者的认可给了孙幼军极大的安慰。“我在北京一家医院里护理病重的母亲时，每天来查房的是一位表情庄重的女医生。她不苟言笑，来去匆匆，对我一得闲就伏在病床一角满纸涂鸦总投以怀疑的目光。可是一听说我写过一本叫《小布头奇遇记》的书，她立刻叫道：‘啊，那是您写的呀？我10岁的时候就看了，可好玩儿啦！’又是拍手，又是跳脚。”孙幼军说，往常那个矜持的主治医师，霎时奇迹般变成一个小女孩，而自己也不再是个有些碍手碍脚的“病人家属”，倒像是她童年的游伴。
终身孩子王
“每当我坐下来拿起笔，总觉得面前坐着几个娃娃。我开了个头儿，看见他们有些心不在焉，我想我的背景交代太啰唆了，于是涂掉这一段，重新写，直到看到他们专注的神情。我知道写哪一句他们会很惊奇，写哪一句他们会笑起来。如果我的语言他们不懂，我的故事他们不感兴趣，娃娃们就做起小动作来，甚至干脆互相打打闹闹，把我放到非常狼狈的境地。”这是写作时，孙幼军脑子里常常出现的画面。