20世纪60年代末，陈鸿烈与潘迎紫因合作电影相识相恋，1971年两人册结婚。彼时潘迎紫已凭借《独臂刀》等作品崭露头角，这段婚姻曾被视为香港影坛的金童玉女组合。不过，这段关系仅维持三年便宣告，具体原因未对外界过多披露。
离开潘迎紫后，陈鸿烈在事业转型期结识徐世荣，两人于1983年步入婚姻殿堂。徐世荣并非娱乐圈人士，婚后专于家庭，为陈鸿烈育有一子一女。这段婚姻持续近30年，直至陈鸿烈2009年因心脏病猝逝，徐世荣始终陪伴左右，承担着家庭的责任。
陈鸿烈的两段婚姻中，潘迎紫代表了他青年时代的激情与光环，而徐世荣则见证了他中年后的安稳与平淡。两位女性在他生命中留下了不同的印记，也成为公众了其私人生活的重要脚。