南宋末期，在元朝大军进逼之下，南宋军民奋起抵抗，在胜利无望的情况下，有十多万军民随小皇帝在江门崖山纵身跳入大海。
当时幸存了一些人流落于南粤大地，有几个姓何的人来到广州番禺一个叫沙湾的地方，时间应该是1233年。
当时广东被称为蛮夷之地，是京城被贬官员流放的地方，凡流放到这个地方的，由于当时交通不便，在加上皇帝佬儿记性不好，很少有人能回到京城的。
当时己是元朝政权，而这几个姓何的人是南宋军队战败后逃出来的，如果被人举报是要杀头的，而这个叫沙湾的地方只有几户原住民，在珠江世代打鱼为生，这些渔民同情他们，因此这几个姓何的人便留在了沙湾。
夲地人只打渔不种地，这几个姓何的人打渔不在行，于是便开荒种地，当地的一户渔民，姓氏不详，见其中一个何德明的小伙子英俊又勤劳，便将自己年方十八的小女嫁给她，这小女儿其实也早已心仪何德明，他父亲早己心知肚明。
何德明与这姑娘婚后那就作夫妻恩爱，很快有了一个儿子何起龙，后来又有了其它儿子和女儿，当时是没有计划生育概念的。
何家开恳的田地也愈来愈多，生活逐渐安定下来，何德明是一个经历了战争、亡国之痛的人，他开始考虑子孙后代兴旺这个问题，他发现，那些官宦之家，显赫不过三代，那些富贾之家，富贵不过三代，惟有耕读之家可久远。
什么是耕读之家，那就是种田读书，四百年后湖南有一个叫曾国藩的人同何明德的认识一样。
总结出这个道理后，何德明决定培养子女读书。于是，在村中办起了私塾，并请了先生，何明德的儿子女儿及村里其它渔民的子女全部送来读书。
从此，儿童朗朗的读书声便在村中回荡，何德明心满意足的背着双手在村中走来走去，和遇到的每一个村民打着招呼。
这个何德明不简单，他就是番禺四大名族之一＂沙湾何＂的一世祖，与另外三家＂石楼陈、员岗崔、南村邬＂三大名族并列。
沙湾800年的历史，便是何家不断繁衍的历史，何德明的儿子何起龙22岁中了进士，何起龙四十多岁时与族人一起修建了留耕堂，但在时局动荡的元末被毁于一旦。
大约过了30年，明朝洪武年间，何氏族人重新建起了留耕堂。为了更好地遵守礼制，满足不断增多的族人需求，1440年，何氏族人决定扩大祠堂，将留耕堂拆毁重建。
清朝初期，沙湾乡各大宗族的奴仆会同乡民，组成＂贯义社＂在沙湾起事。他们以反抗乡中富人为目的，追杀族人，焚烧祠堂。
时隔不久，为断绝沿海居民与台湾郑成功的联系，防止祸乱，康熙下绍沿海民全部向内地迁徒50里。受＂迁海事件＂的牵连，留耕堂被视为尊崇明代的建筑而被拆毁一空。
1688年，复乡的何族人开始重建留耕堂，但只是草草了事。直到1700年，才开始进行大规模扩建，将原来的结构改为了五开五进，并在不远处建起＂水绿山青文阁＂附属建筑。经过34年的改造，一座雄浑的何氏大宗祠终于展示在世人眼前。
这就是现在看到的留耕堂。