李延年的崛起与汉武帝的宠妃李夫人密不可分。他曾以“北方有佳人，绝世而独立。一顾倾人城，再顾倾人国”的诗句推荐妹妹李氏，使其入宫成为汉武帝最宠爱的妃子。李夫人去世后，李延年仍因昔日恩宠和音乐才能保持显贵地位，家族子弟也多获封赏。
然而，李延年最终因家族获罪被汉武帝处死。直接导火索是其弟李季的行为不端。据《史记》《汉书》记载，李季在宫中淫乱后宫，触犯了汉代宫廷律法。汉武帝震怒之下，下令彻查李延年家族。由于汉代律法实行“连坐”制度，李延年作为家族核心成员，虽未直接参与恶行，但仍被认定为“教约不严”，与李季一同被判处死刑，家族势力也因此彻底覆灭。
李延年的兴衰折射出西汉宫廷政治的残酷性：帝王的恩宠往往与家族命运紧密相连，一旦触犯皇权或律法，即便曾受重用也难免身死族灭。他的音乐成就与悲剧结局共同构成了这位汉代音乐家的复杂形象。