深柳堂前廊柱悬挂着邬彬的自撰联，其中下联写道：“蜗居容我寄，愿集名流笠屐，旧雨同来，今雨同来。”由此可见，这座园林建成后，就一直成为邬彬家族生活和社交活动的主要场所，园主常与各方骚人墨客雅集园中。清光绪二十三年（1897年）邬彬辞世后，余荫山房产业由其次子邬宝莹继承。邬宝莹辞世后，其子邬庆桂又继承该项物业直至全国大陆解放。建国初期，番禺县人民政府派工作组进驻南村，组建地方政权，继而开展土地改革运动，按照当时没收地主财产的政策，对作为南村十大主（十大地主富豪）之一的邬庆桂家族财产的余荫山房予以没收，用作地方政府番禺县第五区公所的机关驻地，从而宣告了余荫山房自1871年建成起至1950年政府接收为止长达79年作为私家园林的历史终结。随着时间的过去，余荫山房在所有制和使用功能方面都发生了改变。善言邬公祠先后用作贲南中学和番禺二中校址，1952年番禺二中迁往沙湾后，善言邬公祠收为区公所办公用地，部分房产用作南村供销社仓库。在“三面红旗”风起云涌的1958年，番禺县第五区公所易名为番禺县南村人民公社管理委员会，办公地址仍设在余荫山房花园及善言邬公祠内。余荫山房长时间用作政府机关办公场所，虽然功能改变，且缺乏专人经常性地对园林设施和绿化植物的维护保养，但总比某些名胜古迹用作工厂、民居、仓库等优胜得多。因为政府工作人员思想素质、文化意识都比较好，有这样优美的园林环境作为办公场所，大家都非常珍惜。公社还于1959年出资对山房进行一次大范围小规模的维修保养，力保这座园林减少人为破坏的因素。

       1966年，一场史无前例的“文化大革命”席卷全国，开展对“封、资、修”思想、意识形态的大批判，“破四旧，立四新”的口号响彻神州大地。这时，南村地区和全国各地一样，相继出现了多支红卫兵队伍，他们四出寻找“四旧”，凡是被认为是“四旧”的东西，他们都毫不留情加以横扫，满园诗联，文采缤纷的余荫山房，被视作充斥封建主义思想、文化的藏污纳垢之所，首当其冲自然不在话下。

       1968年南村公社管理委员会易名为公社革命委员会。是年8月的某天上午，一支以南村地区学生为主体的红卫兵组织，人数有四、五十人之众，有些人手持铁棒、铁锤，打着横幅标语，高喊“文化大革命”时期的激进口号，气势汹汹直闯余荫山房，其中一名汉子不由分说挥动铁锤，对着善言邬公祠门口南侧的石鼓发动猛烈锤击，石鼓应声折断落地（此后石鼓散落在南村农机厂，职工用作茶桌，1984年余荫山房重修时寻回）。此人仍不肯罢休，接着又击破石趸的石雕图案（现仍留有破损痕迹，难以修复）。嘈杂声、锤击声震惊了公社内的全体干部。面对眼前情景，大多数干部都能挺身而出，同红卫兵说理，极力劝阻他们这一蓄意毁坏公共财产的错误行为。最令人感动的是，当时被戴上“公社第一号走资派”帽子、时任公社党委书记的戴启添同志，其时他已“靠边站”，正在社内“思想检查交待”中，面对红卫兵对余荫山房的冲击，尽管身处逆境，仍不顾个人安危，忍受着红卫兵指手画脚的辱骂，以极大的耐心和勇气，劝阻红卫兵不要破坏前人留下的宝贵历史文化遗产。在公社干部的努力劝阻下，终于使红卫兵的冲动情绪和过激行为有所收敛，暂时停止了进一步的破坏行为，但他们仍不肯离去，继续进入余荫山房庭园。所到之处，凡是他们认为是“四旧”的东西，都用墨水打上“×”符号（至今仍留有墨迹），临走时向公社领导发出通牒，限期公社在三天内自行将打上“×”记号的“四旧”物品清理拆除，否则后果自负云云，旋即趾高气扬地离去。

       公社革命委员会主任冯云平同志意识到问题的严重性，心想如不迅速采取措施，宝贵的历史文化遗产就会毁于一旦，遂于当日下午主持召开公社全体干部会议专题研究保护余荫山房的措施。会议决定：

       1、用淡灰砂浆覆盖石刻门匾“余荫山房”四字，祠堂正门横梁木雕全用铁皮包裹，包台墙面扫上白灰水，写上毛主席语录及“忠”字，使其面貌符合“立新”气氛。对园内木刻名联“余地三弓红雨足，荫天一角绿云深”用砂浆覆盖后，再用金漆写上毛主席诗句：“中华儿女多奇志，敢教日月换新天”。经过改头换面，点题名作才得以保存下来。

       2、对贵重的木雕工艺品，如玲珑水榭内的“百鸟归巢”，深柳堂内的“松鹤延年”、“松鼠葡萄”大花罩和八幅清代名家书法作品的檀香木雕以及卧瓢庐内的满州窗格等全部用纸双面密封，再贴上颜色蜡纸并写上“宿舍重地，非请勿进”标语，想方设法做好文物保护。

       3、举办“破四旧”展览。发动各村将四旧实物，诸如香炉、牌位、神符、签册、签筒等等送来集中展览，又请美术老师绘就“破四旧，立四新”漫画，一同展出，引导红卫兵识别什么东西才是真正的“四旧”。

       4、当时负责贫下中农协会工作的苏维高同志留守公社机关的时间比较多，公社便指定他多做红卫兵领导和骨干的思想转化工作，密切关注事态的发展并做好两手准备，一旦思想转化工作无效，苏维高同志就马上组织贫下中农协会会员共同起来阻止破坏行动，保护余荫山房。

       事实告诉人们，在文化大革命时期，如果没有戴启添、冯云平、苏维高等一批志士仁人的挺身而出，余荫山房的命运是不堪设想的，今天人们在谈论余荫山房历经沧桑为何能基本保持原貌的时候，都会情不自禁地对保护余荫山房的功臣们肃然起敬。

       白云苍狗，世事沧桑。笼罩在神州大地的“文化大革命”乌云，终于被1978年12月召开的党的十一届三中全会的春雷所驱散，全国上下开始拨乱反正，作为岭南园林瑰宝的余荫山房，其命运也开始有了转机。1982年7月13日，广州市文物管理委员会举行恢复活动后第一次全体会议，讨论了包括余荫山房在内的第二批市级文物保护单位名单，是年南村镇政府退出余荫山房，移交给番禺县旅游公司管理。1983年8月13日，广州市人民政府公布余荫山房包括善言邬公祠和瑜园为广州市第二批文物保护单位，从而使这座古典园林的保护工作正式纳入了法制管理的轨道。1984年由番禺县政府拨款对余荫山房进行建国以来首次大规模维修，为改善周边环境，又在山房围墙之外新辟了一座表现田园景色的后花园。根据我国传统堪舆学的原理，在善言邬公祠广场前挖筑一口灵龟池供游人玩赏，经过近一年的努力，终于在1985年2月28日重修竣工，对外开放，进园参观者络绎不绝。事实说明，余荫山房的艺术魅力深深地感染着各方游客，她的历史价值和科学价值愈来愈引起社会的关注，1989年6月29日，广东省人民政府公布余荫山房为省级文物保护单位。1990年国家建设部、国家文物局、中国建筑学会核定余荫山房为全国近代优秀建筑单位。1999年6月番禺市委宣传部、番禺市教育局定余荫山房为青少年德育教育基地。2001年6月25日国务院公布余荫山房为全国重点文物保护单位。在再次提高文物保护级别的同时，其历史价值和科学价值也相应的提升。2002年6月番禺区旅游局接管余荫山房。

       余荫山房建成150多年来，虽然经过1985年全面重修，但毕竟这座文物建筑保存于露天，遭受长期风吹雨打，虫蚁侵蚀，以至再度伤痕累累，部分结构和构件已严重损坏，木料腐烂、铁料锈蚀、油漆剥落、砖瓦也有风化。为保护这座文化遗产，番禺区委、区政府于2004年拨专款，聘请能工巧匠按照“修旧如旧”的原则，力求保存和恢复其原有的形制、结构、材料和工艺水平。在保持历史风貌的基础上，精琢细敲使其“老当益壮”和“延年益寿”。与此同时，又在全园范围内进行了较大规模的植物调整。各座建筑物的厅堂都得体地配置了清代古典家具，从而进一步提高了园林建筑的景观效果，使这座国家级古典园林，告别了以往的破败情形，她以华丽而典雅，光艳而朴实的新姿，令游人产生耳目一新的感觉。

       为了更有效地保护这座园林瑰宝，2004年12月，以中华文昌文化为设计主线，定名为文昌苑景区的第一期保护配套工程奠基并破土动工，经过一年多的努力，一座体现岭南园林文化特点的文昌苑景区，终于在2006年10月1日落成正式对外开放，从而使余荫山房的面积规模扩展到1万多平方米，环境效益、经济效益和社会效益得到进一步的提高，成为一些高等学校的教学实习基地，2005年5月，被广州市委、市政府评为广州市爱国主义教育基地，同年12月，广州市侨务办公室与余荫山房共建海外华裔青少年“中华文化传承基地”。进园参观的青少年都深深地为余荫山房高超的造园艺术和深厚的文化底蕴所感染，一股充满民族自豪感的爱国情怀从心底里激发出来。2008年11月，余荫山房以她优美的园林环境，深厚的历史文化底蕴，优质的旅游服务再度被评为“番禺新八景”之一，名为“余荫留光”。2011年入选“新广州好”百佳美景。

       在番禺区委、区政府的领导下，余荫山房的管理者们，正以科学发展观为思想武器，按照区委区政府“要提高余荫山房品位”的要求进行深入调查研究，稳步开展科学策划第二期保护配套工程工作，促进余荫山房文物保护工作的可持续发展。曙光在前，余荫山房这颗岭南园林瑰丽明珠，将会向世人展示其“古存既丰，今意亦奇”的新姿。