人文虽不及颍川、汝南、南阳等郡，但郡中的衣冠名族也有不少，元城王氏、繁阳冯氏、“渤海孝王妃”的母家陈氏，还有荀贞刚才提到的霍氏、李氏都是其中之一。
元城王氏是战国时齐王室的嫡裔，王莽即出自此族，写下了《论衡》这部不朽巨著的王充也是出自此族，——王充祖籍元城，其祖上在前汉时迁居到了会稽。繁阳冯氏世代衣冠，前汉宣帝时其族中有一名叫冯勤的，数迁至弘农太守，有子八人，皆为二千石，赵、魏间荣之，号为“万石君”，入到本朝，冯杨的曾孙冯勤有功於中兴，曾出任尚书令、司徒等职，子、孙两代尚公主，是冯氏族中现今最盛的一支。
渤海孝王妃的母家陈氏，严格来说不是名族，渤海孝王妃少以声伎入渤海孝王宫，得幸，生质帝，然因梁氏之故，其母家无甚威权，直到熹平四年，她才被今天子拜为渤海孝王妃。
被荀贞看重的这个霍衡，其族中最出名的前人是霍谞。顺帝时，霍谞的舅舅宋光被人诬陷，坐系洛阳诏狱，曰夜拷掠，霍谞时年十五，乃上书大将军梁商，为舅鸣冤，梁商高其才志，遂奏免了宋光之罪，霍谞由是显名。桓帝年间，梁商之子梁冀当权，自公卿以下莫敢违忤，霍谞却数奏其事，又在天子面前陈梁冀之罪失，后来梁冀被诛，他被封邺都亭侯，仕至司隶校尉、少府、廷尉。从这个角度看，霍衡的嫉恶如仇颇有其族祖之遗风。
而李氏，近代以来其族中最有名的就是被苏不韦穷追不舍、刺杀多年的李暠了。
李暠和中常侍具瑷交通，贪暴为民患，与苏不韦有杀父之仇，苏不韦数次刺杀不成，乃掘其父之坟，断其父头，以祭己父之坟，又把其父之头挂在县中的市里，下书：“李君迁父头”，意思是说李暠把他父亲的头挂在这儿了。李暠捕寻苏不韦不得，后来呕血而死。郭林宗称赞苏不韦：“力惟匹夫，功隆千乘”。
荀贞逐李暠之从孙，是因为看不起李暠的品姓和为人；王通、冯谦、陈仪三人的名字俱在岑竦呈上的名单中，岑竦呈上的名单里不止有名族之后，也有寒门子弟，荀贞之所以只召此三人，是因为这三人出身名族，召来不会引人怀疑，至於其它几个寒门子弟，可以以后寻机再说。
没多久，霍衡、王通、冯谦、陈仪四人应召而来。
荀贞又叫岑竦把荀攸叫来。
这是初次见霍衡等人见面，“交浅而言深者，愚也”，不能和他们言之太细、说得太深，荀贞只是问了问他们的家世，试了试他们的才干，荀攸在边儿上敲边鼓，出言挑之，
…。。