花木本来就是一种没有任何意念的自然之物，但在漫长的历史发展过程中，由于花木与人民生活的关系日益密切，自然的花木也就不断地被注入人们的思想和情感，不断地被融进文化与生活的内容，从而形成了一种与花木相关的文化现象。正如我国著名已故科学家高士其先生说过：“花代表了人类的许多感情”；“花体现了人类的许多精神”；“花象征了人类的许多愿望”，花木与相关的人物和趣事，给后人留下许多耐人寻味，流传至今的诗词歌赋或故事典故。而余荫山房是一座文人园林，其文化积淀在植物配置方面亦充分体现了出来。

       “余地三弓红雨足，荫天一角绿云深”这副对联，不仅点出纪念和永泽祖先福荫的造园宗旨，还用植物点题构成自然景观。置身园中，仔细赏玩，自然会领略到这副名联的诗情画意。“深柳堂”前的花棚架，攀附着一株园主邬彬手植的炮仗花，干粗如树，形如蟠龙绕柱，显露勃勃生机，春节前后，花朵盛开，从平面上看，绿叶金花铺满花檐，从立面上看，悬缨下垂，状如红雨一片，气象万千。位于园林东北面的木菠萝，冠幅庞大，浓荫蔽日，宛如绿云遮蓋，幽静清凉，“余荫”之意，不言而喻。在用地狭小、山水建筑不易展开的小型宅园中，这种高超绝妙的植物造景手法，实在令人赞叹不已。栽植于两墙之间的崖州竹人称“夹墙翠竹”亦是本园特有的绿化景观。

       凡到过余荫山房参观的人，无一不对园中两株古老榆树留下难忘的印象。这两株榆树，均呈悬崖式向池塘方向飘斜，状如双龙出海，十分壮观。邬彬曾任职于京师刑部，由于尽心尽力为朝庭做事，其一家三代都受到咸丰帝的封赏。咸丰帝在给其祖母罗氏的诏书中，赞许罗氏“光生褕翟常昭彤管之辉”，说罗氏受封后所得到的光彩，好像是身上穿上了一件用锦鸡羽毛装饰，闪耀着红色光辉的衣裳。锦鸡的羽毛光彩艳丽，又喜欢在榆树栖息，为此种上两株榆树以便招引更多的锦鸡在此栖息，既可显示邬家女眷的荣耀，又可作为后代女眷的努力方向，且榆树的“榆”字又与余荫山房的“余”字谐音，种植榆树作为余荫山房的标志性树木，那是最合适的了，遂选择在“深柳堂”前的当眼处，筑起两座花坛种上榆树。

       余荫山房遍植桂花，尤其在玲珑水榭东门，以“两桂当庭”的方式种植，一侧为金桂，另一侧为银桂，寓金银满堂之意。水榭西窗之上，高悬“闻木樨香否”大幅匾额，亭外柱联又有：“樨香闻到未忘机人对有情花”句，可见园主人酷爱桂花的狂热程度。桂花别称木樨，它是木樨科的常绿小乔木，“秋花之香者，莫能如桂”，“弹压西风擅众芳，十分秋色为伊忙”，桂花确实是秋花之中最香的，因而它能够压得住秋风的威力，独擅众芳之首。园主正是被桂花之香所陶醉。

       园主酷爱桂花，除了喜欢其香气之外，更重要的是借桂花表现自我。古今中外都把“桂”作为崇高的荣誉的象征，古希腊的神话里，桂是一种“圣物”，用来献给科学和艺术之神“阿伯隆”。古希腊的人们还把桂树的绿叶编成了花冠，叫做月桂冠，奖给卓越的诗人。英国对优秀的诗人授于“桂冠诗人”的光荣称号。我国古代科举中用“蟾宫折桂”表示中举，子孙仕途昌达，尊容显贵为“兰桂齐芳”，在现代社会仍把取得某种荣誉称之为摘取桂冠。园主邬彬是清朝举人，因捐粟获任内阁中书，不久就在大选中被选用为员外郎，签分刑部主事，咸丰五年被诰封为通奉大夫，从二品官衔，恩及祖父母、父母、妻室三代，其后他的两个儿子又先后中举，故有“一门三举人，父子同折桂”之说，这不仅是“蟾宫折桂”，而且还是“兰桂齐芳”。因此园主遍植桂花，在园路两旁围栏摆满各种兰花，其用心显而易见。据瑜园园主邬仲瑜之十五子邬锡华介绍，邬宝莹光绪二十七年中举，同年生子,为庆祝其“蟾宫折桂”，遂将其子取名为邬庆桂，即余荫山房最后一任园主。此外园中种植的白山茶花，腊梅花，也是邬彬用以表现自己坚强品格和奋斗精神的花木。

       棕榈科植物是岭南园林常用的植物，尤其葵树，千百年来民间常采其叶制作葵扇，用以消暑解凉之工具，每年清明时节，民间皆备葵扇，用以镇宅驱邪。相传瑜园建成后，邬家女眷随即入住，其中有位小姐怕黑，瑜园又建在村边，周围是田野涌沟，入夜时分虫鸣蛙叫，树摇窗影，小姐总是胆颤心惊，难以入眠，以为是妖魔鬼怪作弄，于是园主就在瑜园北面种上一株蒲葵，一则招福，二则镇宅。因为“蒲葵”是蝙蝠最喜欢栖息的树木，自种了蒲葵之后，蝙蝠成群结队而来，万福（蝠）临门，园主欣喜不已，又因葵树是棕榈科植物，道教中有位神圣叫锺馗，是专司斩邪治鬼的，“棕葵”就取其锺馗之意。自种植葵树之后，小姐在心理上得到慰藉，精神上有了支柱，胆子也就大起来了，不但不再怕黑，而且把虫鸣蛙叫视作催眠曲，睡得特别香甜。遂葵树就成为接福镇宅的风水花木。

       余荫山房内不仅有木雕“三阳开泰”的民俗吉祥图案，而且在植物配置上种植了酸杨桃、洋紫荆、南洋杉，取其谐音着意营造“三阳开泰”的吉祥气氛，酸杨桃结实累累，寄托了园主祈求“宗枝繁衍、子孙满堂”的愿望，而民间流传洋紫荆是一种有灵性的树木。据汉魏六朝笔记小说记载：有三兄弟在分家产时，欲将门前一株洋紫荆砍开分掉，此花次日即枯，三兄弟受感召决定不砍，花又应声荣茂。南洋杉长青不朽，苍劲挺拔。为此这三种植物便寄寓了吉祥之意。

       余荫山房的花木衬托着园内的建筑造型和池石景象，构成一幅幅疏密相间、错落有致、明暗变化的园林景观，花木的色、香、形也寄托着园主的情感、审美取向和精神追求。一花一木，一步一景，皆藏有深意，观之不尽，赏之无穷。