更始二年24年，赤眉军分兵两路西进，直逼长安。刘玄急命王匡、陈牧守河东，张卯则率部屯驻新丰，与大将军李松共同构筑长安外围防线。然更始政权内部早已溃烂：刘玄沉迷酒色，朝政被赵萌、李轶等近臣把持，将领间相互猜忌。张卯虽坐拥精兵，却因非南阳籍出身，屡遭排挤，粮草补给时常被克扣。
更始三年25年秋，赤眉军主力突破华阴，兵临新丰。张卯向长安求援，刘玄却听信李松谗言，疑其有异志，仅遣数千老弱残兵增援。面对赤眉军十万之众，张卯仍率部死战，于新丰城东展开连日肉搏。史载其“身被数创，犹执戟督战”，然部众终因寡不敌众溃败。兵败之后，张卯率残部欲退回长安，行至霸陵时，却遭遇更始政权内部另一将领申屠建的伏击。原来申屠建早已暗中勾结赤眉军，以“通敌叛国”为名围杀张卯。张卯力战不敌，被斩于马下，首级被送往赤眉军邀功。
张卯之死，实乃更始政权内部分崩离析的缩影。其忠诚未得善终，反遭自己人构陷，恰如当时民谣所叹：“灶下养，中郎将；烂羊胃，骑都尉；烂羊头，关内侯”——能者窃据高位，忠勇者横遭屠戮，更始政权的覆灭早已定。张卯死后不足一月，赤眉军攻入长安，刘玄投降后被杀，更始政权彻底终结。