随着节目步入第五季，观众发现熟悉的阵容开始出现变化。2019年，第五季极限挑战正式官宣时，原“男人帮”成员中，黄磊、黄渤、孙红雷因个人工作安排和档期问题，不再以常驻身份参与录制，仅在部分期数作为飞行嘉宾回归；罗志祥虽继续常驻，但节目整体氛围已与前四季大相径庭；张艺兴、王迅虽仍为常驻成员，但新增的年轻嘉宾加入，让“男人帮”的核心结构被打破。这一变动意味着，2019年第五季成为极限挑战男人帮核心成员实质性离开的标志性节点。
此后，节目阵容持续调整。2020年第六季，原“男人帮”成员仅剩张艺兴、王迅，其余均为新嘉宾；2021年第七季，王迅也正式退出，张艺兴虽有参与但镜头减少；到了第八季及之后，节目已全进入“新阵容时代”，原“男人帮”成员彻底从常驻名单中消失。
男人帮的离开并非突然的告别，而是基于成员个人发展与节目转型的自然结果。他们用前四季的时光，为观众留下了“这就是命”的默契、“极限公益”的温暖，以及兄弟间互相拆台又彼此扶持的真实情谊。尽管节目仍在继续，但“男人帮”的时代，早已定格在2019年第五季的阵容变动中。