无论对于儿童还是成年人，记忆之留存与消退，都有其怪异的选择性。彼得森在一篇论文中讲述了一个发生在她儿子身上的故事——他的一段童年记忆也不翼而飞了。在他20个月大的时候，她曾带他去希腊旅行。他在那里迷上了几头驴子。在接下来至少一年时间里，那些驴子一直是家里长盛不衰的闲聊话题。但当儿子上小学之后，他就完全忘记了这回事。在他十几岁的时候，当别人问他最早的童年记忆是什么，他完全想不起那几头不同寻常的希腊驴子，却想起希腊旅行归来之后不久发生的一件事：有一次，父母带他去探访一栋他们正打算购置的房子，在男主人带他们到处参观的时候，女主人给了他很多饼干。
彼得森完全不知道他为什么会记得那件事——那是一件毫不起眼的小事，家人在闲聊的时候也从未提到过这样的情节。她想知道为什么某些记忆要比其他记忆更加持久，于是和同事们再次开始研究儿童记忆。他们的结论是，如果记忆带有强烈的情绪，那么孩子在两年之后仍然记得的可能性将是其他记忆的3倍。密集记忆（dense memory）——如果他们清楚事件的人物、经过、时间、地点和原因——比不连贯的记忆碎片更有可能保留下来，而且保存下来的可能性是后者的5倍。不过还是会有一些稀奇古怪而无关紧要的回忆顽固地留存下来，比如那慷慨馈赠的饼干。这常会让那些试图探究自己生命初年的人感到十分沮丧。
要形成长期记忆，我们必须协调一系列生理和心理变化，但是大多数儿童都缺乏这样的协调机制。我们从生活经验中获取的感觉信息——影像、声音、气味、味道和触感——都是记忆的原材料。它们抵达并记录于我们的大脑皮层，完成认知的过程。但这些感觉信息必须在海马体中经过组合加工，才能最终形成记忆。海马体是一个位于大脑皮层之下的大脑结构，得名于它如同海马一样的形状。海马体不仅可以把我们的多个感觉信息捆绑在一起，创造出一个单一的新记忆；它还会把影像、声音、气味、味道和触感，跟已经储存在大脑里的相似信息进行关联。但是要等到我们进入青春期后，海马体的某些部分才能完全发育成熟，所以儿童的大脑很难完成长期记忆储存的整个过程。
“记忆储存牵涉到很多生理变化。”埃默里大学的心理学家帕特里夏•鲍尔（Patricia Bauer）这样告诉我。其过程无异于“一场竞赛，你需要在彻底遗忘之前建立并巩固记忆——就像做果冻一样：你要把原料混合起来倒进模具里，再放进冰箱等它凝固，但是你的模具上破了个小洞。你只能寄希望于你的果冻——也就是你的记忆——在从小洞流光之前先凝固成型。”
另外，年幼的孩子对时间顺序的理解也非常模糊。他们还需要好几年时间才能读懂钟表和日历，因此他们很难确定某一事件发生的具体时间和地点。他们也没有足够的词汇来描述事件。如果没有足够的词汇，他们就无法进行“因果叙事”——而彼得森发现，这正是形成稳固记忆的基础。而且孩子还未拥有十分明确深刻的自我意识，所以不会在其激励之下积累和反思自己的生活经验，组成日益增长的“人生叙事”。