这位爵士的儿子在1575年受女王伊丽莎白一世的册封而继承其父的爵位，他供养大批伶人，挥霍无度，成为那个时代的传奇人物。
拜伦的祖先中还有一位也很有名。他效忠于查理一世，在战争中失去了自己的财产和庄园。传说他的妻子是查理二世的第17个情妇，而他的名声也许在很大程度上是因为妻子的缘故。
此外，拜伦的祖父的哥哥——威廉·拜伦也很有名。他继承祖上的爵位，曾花了一大笔钱在纽斯台德盖了一座小城堡和两个小堡垒，专供他荒淫度日和玩战争游戏之用。1765年，威廉·拜伦酒后失手将自己的亲人杀害，从此有了“疯狂的拜伦男爵”之称。事后他被贵族法庭宣判无罪释放。之后，他的儿子与一个家境贫寒的女孩私奔，威廉·拜伦盛怒之下，把领地内所有的古老橡树砍伐一空，又杀死了森林里养的2700多只鹿。
与哥哥比起来，拜伦的祖父显然就不那么传奇了。他从1740年入伍，一直做海军见习生，那时候他才17岁。到1778年，他升为海军中将。30多年间，他经历过无数次的海难、饥饿和艰险，时常在海上遭遇暴风雨的袭击。当然，他那样的家族是不可能让他寂寂无闻的，很多关于他的故事流传下来，其中流传最广、当之无愧成为谈资的是他的长子约翰的故事。他的长子约翰性格暴烈、行为粗野，在私生活上有些混乱，时不时就会制造一些丑闻，他在任意挥霍方面也不逊于几位先祖。拜伦中将气得半死，最后不得不取消了长子的继承权。