时，还是逃到淮南投奔桓荣，才捡回了一条命。这便是桓谭与淮南的渊源了，他在这里养好了恶疾，恰逢刘秀崛起江东，桓荣遂抱书投奔。
“吴王有高祖之天命，文景之仁，更兼有武宣之强，必可复兴大汉，成一代英主！”
桓谭依然记得，桓荣投靠刘秀后，曾激动地对自己描述其人，他甚至把桓谭也一起举荐了上去。只可惜桓谭早已心有所属，没在淮南待多久，便执意去长安找第五伦去了。
时隔两年，叔侄再见，却已是各为其主，而桓荣的眼中，更多了一层悲愤。
“君山大夫莫非是从下邳，经徐县而来？“
桓谭淡淡道：“正是。”
桓荣追问：“那可曾见到沿途残破了？”
桓谭道：“确实是城郭尽为丘墟，白骨露于荒野。”
“这都是魏军所为！”
桓荣指着北方道：“盖延带渔阳突骑袭淮泗口，一路上烧杀抢掠，无恶不作，甚至为灭口，将见其行踪的整村屠戮！”
“这便是君山大夫所效力的‘圣君之属’，心心念念要去投奔的‘王者之师’？”
想当初桓荣刚被刘秀折服时，桓谭不愿龙亢桓氏就此分裂，还曾对他说：“魏主之仁爱恢弘，不亚于吴王。”想劝桓荣一起归魏，如今这些赞誉魏军的话，却被盖延及渔阳突骑的行径狠狠打了脸。
桓谭却没有道德洁癖，否则他也不会和刘歆、扬雄交好，并臣事王莽了，但他倒也不想为盖延辩解：“渔阳突骑素来桀骜，战时滥杀亦是有罪。”
“不过就算吾主要治其罪，也无处下手，盖延如今被吴军所俘，敢问吴主可曾杀了他，为淮北死难百姓报仇？”
这也是桓荣颇为不解的地方：“尚不曾。”
桓谭顿时笑了：“莫非吴主还想招降盖延，为其所用？”
“不可能！”桓荣脸色一变，断然否认，辩解道：“陛下只是暂时未杀。”
桓谭也不与他纠结于此，只道：“我南下时确实见到了淮北惨相，十室九空，千里无人烟，但寻得当地人一问，才知真正使淮北为之一空者，并非渔阳突骑侵袭，更非魏军前锋屠戮。而是吴主勒令坚壁清野，将淮北人士统统裹挟，强行迁徙至淮南！”
“荒谬！”桓荣极力维护自己的主君：“陛下听闻彭城之难后，知魏寇将席卷淮北，难以阻止，这才令人遍告百姓：有愿随者同去，不愿者留下。”
“结果，淮北百姓惧怕魏寇屠戮，皆呼曰，我等虽
…。。