到慈禧太后的接见与重用，先后出任江西萍乡和九江两地知府。谢兴潘在当地建学堂设书院，修沿江公堤。张之洞在汉阳留存“张公堤”，他则在九江留存“谢公堤”。曾国藩治乱推行重典，时人谓之“曾剃头”，他治匪实施重罚，也被当地乡民戏谑为“谢剃头”。
俗话说，三年清知县，十万雪花银。谢兴潘在江西为官三十余载，顶着“四品朝议大夫”的荣誉称号，辞官回乡。车马载金驼银而归，解甲归田后，他就用积蓄将祖屋翻修改建成大夫第。大夫第全名叫“芋园”，占地万余平方米，建筑面积约3600平方米，有起居室78间，厅房40间，还有家祠，学堂，药房，戏台，绣楼，亭阁，房屋两侧配套厨房，碾房，柴房，佣人房，杂役间。
五进十二间的大夫第，依山而建，伴水而修，座北朝南，三面环水，整个布局成棋盘格横向排列。第一列是祠堂，家学，粮仓，第二列是厅堂，第三列是内院，主居室，第四列是后院，内有廊亭阁池，花园书房。
芋园大门框，用整块石材，手工打磨出来。门框下，左右各有一个石门墩，石门墩之间，嵌有石门槛，宽一尺有余，高二尺左右。门楣用砖雕摆出龙飞凤舞的图案，中嵌石雕的圣匾。墙壁青砖砌到顶，白石灰刷到檐，大门红漆点金，屋顶铺黑瓦，隐藏着风水寓意，聚财，吉利，不犯煞。
每一进庭院，分上下两个厅堂，厅堂两侧各有四间耳房，两面相对的耳房之间，夹着门前巷道。耳房是起居室，住家打开巷道尽头的侧门，去附属的厨房，厕所。佣人房，杂役间皆建在侧门外，入夜关上侧门，即将主仆隔离，住宿分开。上下两个厅堂，便有上下两条巷道。
从大门跨过石门槛，进入下堂屋，中间是四面方正的天井，天井正面是上堂屋，天井左右各有两间厢房，门朝天井开，是两层木板楼房。天井具备采光，通风，透气的功能，人坐房内，可以晨沐朝露，夜观星斗。从天井上空，照射进来的太阳光里，妇女在楼上栏杆晒衣，晒被，晒鞋；老人坐在躺椅上，双手笼进袖口抱胸前，咪起双眼晒太阳；小孩在天井和过道之间追逐打闹，跳绳，踢毯；年轻人小伙子把麻将桌架在天井里，哗啦噼啪，打得热火朝天；大姑娘小媳妇站桌旁观战，边绣鞋垫，边起哄，笑语喧哗。
天井用两米多长，一米多宽的长方形青石铺成，板下即是排水沟。不仅天井由长方形青石板铺面，其左右连接上下堂屋的过道也是石板铺道。天井中间，有一个凸起的长方形台面，台下四面是凹下的排水槽，四面屋檐落下的雨
…。。