元封五年(前106年)，大將軍衛(wèi)青病逝，謚號為烈侯。在上古文獻(xiàn)中“烈”是光明、顯赫，有宏偉、浩大之意。以此表彰了衛(wèi)青軍功卓越、不平凡的人生之旅。

衛(wèi)青對衛(wèi)氏家族，乃至太子(衛(wèi)青的外甥)的命運(yùn)都有著重大影響。衛(wèi)青走過了一條上升、圓滿的人生軌跡，然而，他的后代卻沒有能繼承他的功業(yè)，也沒有能繼續(xù)他的輝煌人生經(jīng)歷。

據(jù)《史記·衛(wèi)將軍驃騎列傳》記述，衛(wèi)青有三個兒子：衛(wèi)伉，衛(wèi)不疑和衛(wèi)登。衛(wèi)青在漠南打敗右賢王之后，漢武帝為表示對衛(wèi)青的特殊嘉獎，冊封了這三個尚為孩童或在襁褓之中的幼子。衛(wèi)伉被封為宜春侯，衛(wèi)不疑被封為陰安侯，衛(wèi)登被封為發(fā)干侯。最早，衛(wèi)伉犯法而丟掉了宜春侯爵位，因衛(wèi)青娶了武帝的姐姐平陽公主，衛(wèi)青去世，衛(wèi)伉才能繼承衛(wèi)青的封國，繼續(xù)做了長平侯。6年之后，衛(wèi)伉犯法而失去了這個爵位。衛(wèi)不疑和衛(wèi)登都因交供宗廟祭祀用的金子不合格，丟了爵位。衛(wèi)青的后代雖然生來富貴，但由于沒有建立功業(yè)，從而沒有能力保持高貴的社會地位。

《資治通鑒》卷二二記述了漢武帝與衛(wèi)青、太子之間的故事。當(dāng)初，漢武帝在29歲時才生了太子，這是武帝第一個兒子，自然非常喜愛。隨著太子一天天長大，武帝觀察到太子個性仁慈寬厚、謙和，似乎沒有自己那樣精明強(qiáng)干，因此感覺有些遺憾和失望。后來，武帝的其他幾位夫人陸續(xù)為他生劉閎、劉旦、劉胥和劉髆幾個皇子。

皇后和太子覺察武帝對他們母子的逐漸疏遠(yuǎn)，開始常常陷入惶恐不安之中。武帝知道后，讓衛(wèi)青向皇后、太子轉(zhuǎn)達(dá)：我朝很多大事都還處于草創(chuàng)之中，周邊外族對我們侵略不斷，朕不得不對內(nèi)厲行改革，對外大力征伐;否則后代子孫治理政務(wù)沒有法度可以遵循，國家也沒有真正的太平局面。因此，朕在位期間百姓十分勞苦，但是，后代子孫繼續(xù)像朕這樣做，就等于重蹈了亡秦的覆轍。太子性格沉穩(wěn)仁厚，這正是守成之君所必須具備的品格，保持國家的穩(wěn)定與安寧沒有人能勝過太子了！聽說皇后和太子有不安之意，請你把朕的意思轉(zhuǎn)告給他們。

武帝特意請衛(wèi)青做中間人，顯然是有深意的。與其說，他這些話是在安慰皇后、太子，不如說，他主要是為安慰自己這位戰(zhàn)無不勝的大將軍。這位在戰(zhàn)場上敵人不可戰(zhàn)勝的大將軍，是西漢以強(qiáng)盛帝國的姿態(tài)屹立于世界東方的重要因素。

以武帝的雄才大略面對仁弱的太子自然是不滿意的，他在安慰太子的同時，似乎也在安慰、說服自己，也許有衛(wèi)青的輔佐與支持，太子可以擔(dān)負(fù)得起自己身后的這大片錦繡河山的安寧與穩(wěn)定。

然而，天不假年，威名赫赫的大將軍在五十歲左右就逝世了。在衛(wèi)青去世之后，朝中的奸佞大臣看到太子失去了這個堅(jiān)強(qiáng)的后盾，開始肆無忌憚地陷害太子了。太子被迫起兵自衛(wèi)，后來兵敗自殺。

青在世的時候，連漢武帝都主動維護(hù)太子以安定大將軍之心，其他人更不敢構(gòu)陷衛(wèi)家和太子。衛(wèi)青封侯之后，衛(wèi)氏家族開始興起，衛(wèi)家有5人封侯。然而僅僅維持了24年，5個侯爵被剝奪，衛(wèi)氏家族再也沒有封侯的了。到了征和年間，太子兵敗自殺，衛(wèi)氏家族也基本覆滅了。