常言说得好：树大招风。正是因为卫氏家族的富贵，所以遭到一些人的嫉妒和陷害。征和二年前91年六月至八月之间，武帝非常信任的一个名叫江充的酷吏，以“巫蛊”之罪，陷害卫后和太子刘据等人，致使卫氏家族从兴盛走向灭亡。
汉朝人很相信巫术，汉武帝期间发生多次“巫蛊”事件，对当时的政治、社会都产生了巨大影响。所谓“巫蛊”就是利用人们的迷信，将象征真人的木制偶人埋到地下，通过巫师祈求神鬼，帮助施行巫蛊者加害所要憎恶诅咒的人。汉朝皇宫内最忌讳“巫蛊”，武帝一朝因为巫蛊事件而多次构成大狱，许多人受牵连而死。前面说的陈皇后就是因为“巫蛊”事件引火烧身，还使得卫子夫因祸得福。然而，这次是江充把“巫蛊”的罪名强加在卫子夫身上，使卫子夫家破人亡，惨遭灭顶之灾。
太子刘据为人忠厚，平时遇有冤狱，往往代为平反，颇得民心。而江充等武帝时代的酷吏，处事方式与太子不同，对太子早就心怀不轨。有一次，江充随从武帝去甘泉宫，太子家的人乘车马行驶在驰道中，违反了汉代的法律规定，被江充令人没收了。太子知道后，派人向江充致歉说：“非爱车马，诚不欲令上闻之，以教敕亡素者。惟江君宽之！”恳请江充法外施恩，但是江充并不接受太子的致歉，还把这事告诉了武帝，武帝高兴地说：“人臣当如是矣。”于是，太子与江充就有明显的嫌隙了。江充害怕武帝年老死去，太子继位，会对自己不利。你让鱼死，我就先让网破，于是想先下手为强，除掉太子，免贻后患。
武帝当时在甘泉宫患病，江充就向武帝说，武帝的疾病是因为“巫蛊”的原因。武帝就派江充审理，又派按道侯韩说、御史章赣、宦官苏文等协助江充。江充先惩治后宫嫔妃，然后开始对皇后和太子下手。江充故意在太子宫中掘地三尺，太子、卫后的宫殿被挖得连放张床的地方都没有，最后江充把早就准备好的桐木人，一本正经地从太子、卫后的宫殿挖出来，就要向汉武帝禀报情况。当时汉武帝在甘泉宫避暑，宫中只有卫后、太子在。太子知道是江充陷害自己，就按照自己的老师石德的意见，发兵抓了江充，并亲手杀了他。宦官苏文逃到甘泉宫，向武帝报告说太子造反。武帝一开始不相信，派人去召太子。但是派出的使者不敢去，就回报武帝说，太子真的造反了。武帝大怒，派丞相刘屈发兵讨伐太子，太子兵败，逃出长安，太子、卫后自杀身亡。
卫子夫从一个歌女升为一代皇后，万万没有想到，最后却落得这样的下场。
卫子夫其实是汉武帝的姐姐平阳公主家的一个唱歌的奴婢。平阳公主喜欢歌舞，家里蓄养了十几个长相漂亮的歌女，卫子夫就是其中一位。卫子夫当时已结婚，有夫君。建元二年前139年三月上巳，汉武帝去灞上祓祭，回宫路上路过平阳公主家，喜欢上年轻漂亮的卫子夫。平阳公主就向武帝禀奏进献，于是卫子夫入宫服侍武帝。
武帝对卫子夫又怜又爱，不久卫子夫就有了身孕。当时武帝没有子嗣，所以此后卫子夫
的尊宠日隆。卫子夫先后生三女，元朔元年前128年卫子夫生了一个男孩，起名刘据，是为汉武帝的长子，就是后来的太子。然而，这一切，都成了永久的过去。