晋文在《海昏侯刘贺的家族与家庭》一文中指出，刘贺袭封昌邑王的年龄即可以推算在五岁左右。从而说明刘贺在刘髆死时才不满四岁，他应当出生于昌邑（今山东巨野），且童年失怙，主要是和母亲及姐妹生活在一起。《汉书》卷六三《武五子传》：“王（刘贺）受皇帝玺绶，袭尊号。即位二十七日，行淫乱。大将军光与群臣议，白孝昭皇后，废贺归故国，赐汤沐邑二千户，故王家财物皆与贺。及哀王女四人各赐汤沐邑千户。”可见刘贺亦确为刘髆独子，而仅有四个姐妹（很可能是异母姐妹），昌邑王刘髆应有子女五人。
刘贺的姬妾至少有十六人，在史书留下姓名的却仅有严罗紨一人。截止到地节四年（公元前６６年），刘贺共有子女二十二人。到神爵三年（公元前５９年）刘贺去世，在七年的时间里，他的众多妻妾应该还有子女出生。刘贺的子女实际很可能有三十人左右，至少要超过二十二人。但在史书上留下名字的却仅有三子一女，即儿子刘充国、刘奉亲、刘代宗和女儿刘持辔。
《汉书》卷八《武五子传》：“海昏侯贺死，上当为后者子充国；充国死，复上弟奉亲；奉亲复死，是天绝之也”，“元帝即位，复封贺子代宗为海昏侯，传子至孙，今见为（侯）。”其中刘代宗在元帝初元三年（公元前４６年）被绍封为海昏侯。有趣的是，充国、的。由此亦可推论：汉代王侯的继承人很可能存在被朝廷重新赐名的惯例。另据《汉书》卷一五下《王子侯表下》：“初元三年，厘侯代宗以贺子绍封”（子栏），“原侯保世嗣”（孙栏），“侯会邑嗣，免，建武后封”（曾孙栏）。可知刘代宗死后被谥为海昏厘侯，他的儿子刘保世继承爵位；刘保世死后被谥为海昏原侯，他的儿子刘会邑继承爵位；刘会邑在王莽摄政时期被废除爵位，至东汉建立后又重新被封为海昏侯。换句话说，一直到班固撰写《元帝纪》和《王子侯表》，海昏侯的嫡系都一直在延续。至于海昏侯的旁系，则由于史载阙如，而只能寄希望于今后的考古发现了。
总之，刘贺家族的直系出自汉武帝，其有名可考者，最早可追溯到天祖刘邦，最晚可下延到曾孙刘会邑。可以毫不夸张说，在南昌乃至江西地区，刘贺都应该有很多后人。