林芳正出身于日本山口县的政治世家，其家族历史可追溯至江户时代。他的祖父林平四郎曾是日本众议院议员，父亲林义郎更是长期活跃于日本政界，曾任自民党副总裁等职。这一家族在日本政治体系中根基深厚，属于典型的日本本土政治家族。
从姓氏“林”来看，虽然在华人社会中较为常见，但日本的“林氏”与华人林姓并直接关联。日本历史上，部分姓氏可能受到中国文化影响，但林芳正所属的林氏家族，其族谱明确记载为日本本土传承，与中国移民关。论是家族史研究还是官方资料，均未提及林芳正有华人祖先。
综上所述，基于现有公开信息，林芳正的家族根源为日本本土，其祖先并非华人。