说过家庭环境，再来看自然环境。古人有所谓“物华天宝，人杰地灵”之说，寓意山川灵秀之所聚，往往会使当地人才辈出。湖南所在的位置，在古楚国之南，因称南楚。“楚有江汉川泽山林之饶。江南地广，或火耕水耨，民食鱼稻，以渔猎山伐为业，果蔬蠃蛤，食物常足。故呰窳50偷生，而无积聚，饮食还给，不忧冻饿，亦无千金之家。”51长沙古称湘州，而“湘州之奥，人丰土闲，人多纯朴，士少宦情”。及至近代，“土风纯古，恬于世利，其俗多慷慨尚节，而耻为不义。学者勤于礼，耕者勤于力，故虽无甚富，亦无甚贫。”52而“元气之融结为山川，山川之秀丽称衡湘，其烝为云霓，其生为杞梓。人居其间得之为俊杰。”53湘乡地处衡山北麓，涟水之滨，群丘环抱中的
坪坝，犹如一颗颗绿色的珍珠，望之令人心旷神怡。灵气所钟，因缘时会，咸同之际，湘军闻名于天下，湘乡英杰辈出，一时宿将，皆以仁勇为士卒所亲附，出
将入相，位列封疆者，指不胜屈。古代有关中出相，山西出将的说法，然而将才如湘乡这般集一时之盛者，罕有其匹。后来曾国藩论及此事，自豪之情亦溢于言表，“盖武功之懋，非他州县可望而及。秦汉称山西出将，考之安定、天水、陇西诸郡，曾不能敌今日之一县，可谓盛哉!”54
曾家所在的荷塘都，现已划归双峰县荷叶镇。双峰县于1952年自湘乡划出，县治亦由湘乡迁至永丰市，所以此双峰已不是彼湘乡，而县中所谓的“曾国藩故居”，即富厚堂的侯府，曾国藩非但一天没有住过，而且一眼没有看到过，实在是名不副实。在这里住过的是欧阳夫人与曾国藩的儿女们，所以称作“曾氏故居”，方名副其实。为求历史真实，不能不于此略加辩正。
曾国藩居住过的“故居”，在家乡只有两处。一处是他的诞生地，也就是白杨坪老宅，后称白玉堂，在今荷叶镇天坪村。据称，白玉堂老宅三进两横，六个天井，计四十八间房。房为砖木结构，青砖黑瓦，双层飞檐，粉壁墨画，颇为壮观，残留至今者约三分之一，家塾“利见斋”保存则较为完整。另一处是下腰里的新宅，后称huáng金堂，在白杨坪老屋西面十二里处的良江村。星冈公去世后，曾麟书与其弟曾骥云(字高轩)分居，故建腰里新屋，咸丰元年十一月迁居。55咸丰二年与七年，曾国藩奔父母之丧，就是在这里居丧守制的。比起白杨坪，他在新屋住过的时间很短，但家眷居住的时间很长。据称，huáng金堂的建筑结构与白玉堂相仿，也是三进两横的青砖瓦房，可时至今日，已是故园丘墟，只有宅前的半月形池塘依旧。除门前的石基与一壁残墙，整个院落已经dàng然无存，代之而起的是些朝向不一的民房。
其实，白玉堂与huáng金堂初无此名，而是曾家发达后新起的名称，时间当在咸丰二年新旧两宅扩建增葺之后。57曾国藩跻身的翰苑，历来被视为清要之地，所谓玉堂金马，前程远大。曾家以此名居，不无炫耀之意。两堂的名称与建筑规模都是曾家发达后所为，绝非早年小康之家的气象。白杨坪的老屋，与良江村的新宅，原来都是一进两横的农舍，而且很可能如韶山毛氏故居一样，是土坯为墙，茅草苫顶的普通民居。这可由曾国藩的诗句“我家湘上高嵋山，茅屋修竹一万竿”58中，略窥一斑。
据当地人介绍，白杨坪老屋当初并无“堂”可言，然而其地势形胜，却颇为可观。“此地三面是高山，出口处有一小块平地，平地中央有一小团山”，老屋就坐落于高嵋山的龙脉上。 中国古代堪舆之学，称山脉为来龙，平地为明堂，老屋坐于龙脉，前有坪坝，四周青山屏蔽，是风水学上所谓山环水抱，藏风聚气的佳地。曾国藩自出生直到出仕，整个童年与青少年时代，生长于斯，其身心必深受这种质朴自然环境的陶冶。
高嵋山下是侬家，岁岁年年斗物华。
老柏有情还忆我，夭桃无语自开花。
几回南国思红豆，曾记西风浣碧纱。
最是故园难忘处，待莺亭畔路三叉。
从青年时代的诗中，可以感受到曾国藩浓浓的乡土之情，即便在身居高位后，他依然不能忘情于故乡。同治四年四月，诏命曾国藩为钦差大臣，赴山东督师剿捻，以李鸿章接任两江总督。留在金陵的欧阳夫人不愿回huáng金堂，拟携儿女暂住长沙。曾国藩则执意乡居，为的是保持住俭朴的家风。“仕宦之家，往往贪恋外省，轻弃其乡，目前之快意甚少，将来之受累甚大。吾家宜立矫此弊。”61欧阳夫人不愿回乡，并非贪恋城市繁华，而是认为huáng金堂不吉利。儿媳贺氏(即前面提到过的贺长龄之女)在此难产而死，贺夫人之母亦死于此，屋前的池塘，还溺死过人。62为解决这个问题，曾国藩致信长子纪泽，要他回乡一趟，与叔父们商量，择地另建新居。
huáng金堂之屋，尔母素不以为安，又有塘中溺人之事，自以另择一处为妥。余意不愿在长沙住，以风俗奢靡，一家不能独俭。……泽儿回湘与两叔父商，在附近二三十里觅一合式之屋，或尚可得。63
又致信国潢、国荃二弟：
令纪泽先回湘乡禀商两弟，觅一妥屋，修葺就绪，再缄告金陵，全眷回籍，庶几有条不紊。请两弟先为筹度一处，以不须新造者为妙。64
曾国藩考虑的几处地点，大都是祖上传下来的几处老屋，其中只有富坨村一处，是曾国荃名下的产业。大哥要觅一处养老之地，国荃自然当仁不让，痛快地将富坨的宅子兑与乃兄，还附赠了百余亩田地。这就是富厚堂侯府的由来。
当年(同治五年)年底，曾国荃补调湖北巡抚，富坨新宅的修建，便由曾国潢一肩承当了。兄长为国之重臣，一日衣锦还乡，曾氏阖族与有荣焉。所以这位老弟办起这件事来劲头十足，务必要体现“侯府”之堂皇与威严，若非曾国藩一再告诫要俭省，还不知会搞成什么局面。
但就是省，也还是花掉了七千串大钱(约合三千五百两银子)，其中曾国潢自己还帮补了一千余两。以至曾国藩闻讯后惊呼：“富坨修理旧屋，何以花钱至七千串之多?即特造一屋，亦不应费钱许多。”65又在日记中痛自反省道：“余平生以起屋买田为仕宦之恶习，誓不为之。不料奢靡若此，何颜见人!平日所说之话全不践言，可羞孰甚!”66
欧阳夫人携带子女，于同治五年十一月搬入富坨新居，当时还没有富厚堂这个名字，而是以曾国藩的家训名之为“八本堂”。67后来曾纪泽以《后汉书》中“富厚如之”，更名为富厚堂。侯府大院坐西朝东，位于低矮而树木繁茂的鳌鱼山凹内，如同坐于圈椅之中。门前挖有一半月形荷塘，四面是开阔的稻田，涓水自堂前缓缓流过，向东汇入湘江。
富厚堂占地约四万平方米，建筑面积九千余平方米，正门上悬“毅勇侯第”朱底金字牌匾，从门厅绕过影壁，是座八百平米的大院，有石砌甬道直通前厅八本堂，中厅设有供奉祖先神位的祭台，后厅是欧阳夫人与纪泽、纪鸿夫妇的居室。此外还有求阙斋(家塾)、思云馆、藏书楼等多处建筑，各以回廊相连。其中藏书楼藏书三十万卷，收藏之富，可与清代四大藏书楼(分别是山东聊城杨氏的海源阁，江苏常熟瞿氏的铁琴铜剑楼，浙江归安陆氏的皕宋楼，杭州丁氏的八千卷楼)相媲美。