长安，为董卓报仇。张绣跟随张济，以军功升至建忠将军，封宣威侯。
到了建安元年（196年）的时候，张济因军中缺粮，自关中引兵入荆州界，与刘表交战，攻穰城，中流矢而死。张绣接管了他的部队，收兵退出穰城。荆州官员知道后皆向刘表祝贺。
刘表却在这个时候说：“张济因穷途末路而来，我作为主人却如此无礼，这并非我的本意，故我只受吊唁而不受祝贺。”之后，刘表又派人招诱张济的余部，其众闻讯而大喜，尽皆服从。
刘表于是安排张绣屯兵于宛城，张绣成为刘表在北方的藩屏，替他抵御外敌。
不过在去年的时候，曹操南征，大军直达淯水，引兵与张绣交战，张绣自知不敌于是率众投降。曹操大喜，不过在接见张绣的时候，一下子就看中了张济的遗孀。
并且强行纳了张济的遗孀为妾，当天晚上就让张绣的婶子侍寝，张绣因此怀恨曹操。曹操听说张绣不高兴，就秘密准备杀掉张绣。结果计划泄露，张绣偷袭曹操，曹操战败，长子曹昂、侄子曹安民被杀，猛将典韦战死。
张绣引兵追击曹操，不过被曹操击退，于是张绣只好退回防守穰城，再次与刘表联盟。