初，康与东平吕安善。安兄巽诬安不孝，康为证其枉，因疏巽之恶，言辞切直，遂为司马昭所忌。钟会素与康有隙，乘机谮曰：“康上不臣天子，下不事王侯，轻时傲世，不为物用，今不诛，后必为患。”昭然其言，遂收康下狱。
狱中，康神色自若，援笔作《幽愤诗》，其略曰：“欲寡其过，谤议沸腾。性不伤物，频致怨憎。”时太学生数千人上书，请以为师，不许。临刑之日，康从容顾视日影，索琴弹之，曰：“《广陵散》于今绝矣！ ” 海内之士，莫不痛之。
康之死，非独因吕安一案。其《与山巨源绝交书》中“非汤武而薄周孔，越名教而任自然”之语，已触当政之忌。魏晋易代之际，权臣司马昭欲篡魏自立，而康始终以魏室为念，拒不仕晋，其傲骨嶙峋，终至祸端。
康身长七尺八寸，风姿特秀，博览群书，尤精老庄。常打铁于洛阳城外，向秀为之佐。每遇权贵造访，康未尝稍屈。钟会尝往见，康扬锤不辍，良久谓曰：“何所闻而来？何所见而去？”会答：“闻所闻而来，见所见而去。”二人嫌隙由此益深。
临刑前，康遗命将子嵇绍托于山涛。涛不负所托，抚绍成人。绍后为晋忠臣，血溅帝衣，时人谓其“嵇延祖有佳儿”。
康虽死，其“越名教而任自然”之精神，与《广陵散》之悲声，终成魏晋风骨之象征。千载之下，读其传，犹见其人独立于刑场之上，白衣胜雪，琴声裂石，奏响生命最后的绝唱。