西夏大德三年（宋绍兴七年，金天会十五年，1137）十月，李世辅投奔西夏。
李世辅，字君锡，绥德军青涧（今陕西清涧）人。从唐朝开始，李家就世袭苏尾九族巡检，也算是当地的世家大族了。李世辅的父亲李永奇还曾担任过宋朝同州观察使、延安巡检使等职务，官虽然不算大，多少也算为家族争了光，李家也颇以此为荣。
据说李永奇的妻子生李世辅的时候难产，一连几天都生不下来，恰好此时有个和尚路过，说：“要生的乃是一个奇男子，只要把刀剑放在孕妇身边，这孩子就能生下来了。”李家人照此而做，很快小世辅就出生了。
要说这个事情是真的，恐怕有点玄。那和尚又不是妇产科大夫，也没替孕妇做过B超，说生男的就生男的？再说，有谁见过生孩子的时候在旁边放管制刀具的？真要这么干了，估计孕妇更生不出来了。所以，这事如果不是史臣瞎编的，估计就是李家人瞎编的，无非是为了说明李世辅与其他人不一样，是个百年一遇的天才。
是不是天才不好说，人才那是肯定的。李世辅十七岁的时候就已经跟随他的父亲李永奇四处征战了，还多次立功，很快就在军中出名了。
后来金军攻陷了延安，要授李永奇父子以官位。李永奇眼含热泪说：“我乃是宋朝臣子，世世代代享受着国家的恩赐，怎么能替金人做事呢？”