家祖孙几代都是大名人，都是朝廷重臣，声势一时无两。他的叔曾祖父是东晋名臣谢安，他的祖父是东晋名将谢玄，谢安是淝水之战中东晋总指挥，谢玄是淝水之战中东晋的前线总指挥，这叔侄二人以八万东晋北府军击败前秦苻坚的八十万大军而名载史册，一起指挥了这一场以少胜多的经典战例。
谢灵运后来继承了祖父谢玄的爵位康乐公，他的堂弟谢晦是南朝刘宋的开国功臣、权臣，他的其他几个堂弟在刘宋朝廷也都是重臣。
谢灵运的生母刘氏是王羲之的外甥女，他的姑奶奶谢道韫是王羲之次子王凝之的妻子。
不过谢家很快因为谢晦的反叛被杀而败落下去，家族中有份量的人物不是被杀就是被流放。
谢灵运文采不凡，所做诗词一经传出，无论贵贱都竞相传抄，不久就天下闻名，但他却经常触犯律法，在朝为官时，南朝两代皇帝都不把他当大臣，只当做文人，可谢灵运觉得自己既然是大名人，那就应该参与朝政，而皇帝在召见他是都只让他谈论诗文，几个名气比不上他的人却比他还受宠，他因此愤愤不平，于是在皇帝召见他时经常称病不朝，他依靠祖辈父辈留下来的丰富家底和深厚的人脉关系的余荫大肆修建园林、种植花草、纵情山水，经常干一些开山造湖的事情。
有些人说谢灵运是因为淡泊名利才能写出那许多流传后世的山水诗词，其实他游山玩水是因为在官场上混得不如意，又因性格偏激，得罪了很多人，盛唐时期大诗人李白与他的遭遇差不多，都是同病相怜之人，所以李白是谢灵运的铁杆粉。
当然，谢灵运的粉丝可不止李白一人，就算与谢灵运同时期的许多名人都是他的忠实粉丝，无论他走到哪里，总有当地一大批粉丝跟从、鞍前马后。
谢灵运喜欢游山玩水，所以他是一个名副其实的旅游家，他还喜欢探访深山险境，也可说他是一个探险家。
此时谢灵运就站在赵俊生身边一起观看着乾军阅兵，他对乾军军容严整、进退有序、纪律严明很是震惊。
当他看到一支蛮人军队走过城门楼前时忍不住问：“大王，乾军之中怎的还有成建制的蛮兵？”
赵俊生介绍说：“这是一支由东敕勒人组成的军队，主要驻扎在北方防备柔然人！因语言方面与中原各族差异太大，若与其他各族之兵打断混编则容易造成指挥不便，所以暂时能让他们自成一军！”
“原来如此！”谢灵运恍然大悟。
赵俊生指着城楼下经过的一支支队伍问：“谢灵
…。。