据历史专家考证，岳飞的四个哥哥先后夭折，他的乳名唤作五郎。岳家原是有几百亩薄田的自耕农，后来涝灾惨重，民不聊生，典卖田亩，借高利贷，到了“公私之债交争互夺，谷未离场，帛未下机，已非己有”的境地。岳飞16岁娶妻刘氏，第二年生岳云，7年后又生岳雷。在此期间，岳飞两次应募从军。到24岁时，已经成长为一个自觉的爱国战士的岳飞，前往相州(今安阳)，第三次挥戈从戎，毅然北赴抗金前线。
后来，金兵的腥膻铁蹄一路南下，占领汤阴，并在这里构筑营寨。史料记载，“刘氏两次改嫁，岳云、岳雷由祖母姚夫人抚养。”
《尽忠报国——岳飞新传》写道：“岳飞的故乡沦陷后，有个同乡前来寻找岳飞，告诉他母亲姚氏和前妻刘氏的消息，并且转达了姚氏的反复重嘱：‘为我语五郎，勉事圣天子，无以老媪为念也。’岳飞愤恨刘氏的背信弃义，姚氏和岳云、岳雷的凄惨境遇更使他卧不安、食不甘。他派人潜入汤阴县，前后18次，才将母亲和两个儿子按到自己的军营……”
岳飞的妻子改嫁?一代英烈曾经遭遇婚姻不幸?
旷世大英雄岳飞啊，哪个女人有幸获得上天赐予的这样一位丈夫，纵然千辛万苦，纵然寒窑独守，也是幸运，也是幸福。可叹刘氏，你究竟还要什么?
宋史专家王曾瑜谈道：“岳飞原妻为刘氏，刘氏在岳飞从军后改嫁，另娶李氏。……据钱汝雯所编《岳飞年谱》中引《金佗宗谱》，并无刘氏，这当是后世子孙为之避讳。在宋代，妇女改嫁是很普遍的事。禁止妇女、特别是寡妇改嫁，主要是明清的事。”
后世子孙为什么“为之避讳”呢?其中当有为了少年英雄岳云、岳雷的缘故，刘氏毕竟为其生母，还须留情；然而更主要的原因，大概还是不忍触动岳飞的感情伤疤，岳飞一身的创痛已经够多了！
痛哉岳飞！正在前线厮杀的他，突然闻知后方家变，羞愤交加，遥望北天，国不国，家不家，又是怎样的一番“怒发冲冠”!
沙场中，马背上，他默默地追问前妻一你为什么要走?上有白发老母，下有一双幼儿，你忍心抛下他们吗?丈夫保家卫国，出生入死，你不理解他的一颗忠心吗?儿子渐渐长大成人，你不怕他们因你而蒙羞吗?……以前从军带着你住过军营，这次留你在家照顾老小，你却……你还年轻，才二十多岁，乱世穷家你守不住了。夫妻一场，你却没有与我情投意合的缘分，没有与我分担苦难的能力，你走吧……
从此岳飞再也没能回到桑梓故里。