不同历史时期存在独特的称谓演变。秦汉时期平民称祖父为大父，《史记》中"高祖，沛丰邑中阳里人，姓刘氏，字季。父曰太公，母曰刘媪"的记载，显示"大父"与"太公"同为对祖父的敬称。魏晋南北朝时期，受少数民族语言影响，出现阿爷的称谓，这一称呼在唐代诗歌中仍有留存，如杜甫《兵车行》中"爷娘妻子走相送"的诗句。
地域差异造就了称谓的丰富性。北方地区除"爷"之外，还常用老爷作为尊称，尤其在官宦人家的仆从对主家祖父的称呼中使用。南方则多称阿公，闽粤一带至今保留这一习惯，在明代地方志《闽书》中便有"闽人呼祖曰阿公"的记载。吴语区的爹爹称谓独具特色，与北方"爹爹"指父亲的用法形成差异，这种现象在《清稗类钞》中有明确记录。
明清时期的民间文学为称谓研究提供了鲜活样本。《水浒传》中李逵对戴宗称"爷爷"体现江湖语境下的尊称，《儒林外史》中市井百姓使用老爹称呼祖父，而《醒世姻缘传》则出现公公的叫法，这些称谓的并存展现了市井语言的多样性。在南方乡村，阿翁的称呼较为普遍，陆游诗中"阿翁老病缺迎候"的句子，印证了这一称谓在宋代民间的流行。
这些称谓演变折射出家族制度的变迁，从秦汉"大父"的庄重到唐宋"阿爷"的亲昵，再到明清"爷爷"的通俗，语言形式的简化过程伴随着宗法观念的世俗化，最终形成了今天仍在使用的多样化祖父称谓体系。