張繡的叔叔是張濟，董卓和牛輔死後，張濟成了西涼兵的三大首領之一，與李傕、郭汜一同攻打長安，擊敗了王允和呂布。期間張繡跟隨張濟南征北戰，立下了很多戰功，被封為建忠將軍、宣威侯。
到後來，張濟帶兵屯駐在躬農一帶，由於部隊缺糧少食，就去攻打劉表的穰城取食，結果張濟在戰鬥中負箭而亡，張繡就接了班。此時張繡的處境比較危急，劉表也有意收攬張繡讓他為自己所用，於是兩人就走到了一起。劉表將宛城送給了他，讓他在這裡守衛自己的北境。曹操把活躍在宛城一帶的張繡視為大患，於是在建安二年親自帶兵攻打張繡。
【曹操第一次親征】
曹操的大軍剛開到淯水，張繡就投降了……很果斷，也很融洽，如果以此為結局，就不會有後面許多不愉快的事了。可是曹操偏偏就看上了張濟的夫人，竟把她納為妾室，她可是張繡的嬸孃啊！
這等於是把張繡的尊嚴按在地上摩擦，一點臉面都不給。張繡視之為奇恥大辱，心中怏怏不快。這種情緒被曹操察覺了，就開始密謀除掉他，而曹操的密謀也恰好被張繡得知了，兩人表面上仍然融洽，暗地裡卻已劍拔弩張。
直接的導火索是，張繡的愛將胡車兒去見曹操，曹操一向賞識他，因此禮遇有加。張繡誤以為胡車兒已經被他收買，以為這兩人已經在密謀對付自己，於是決定先發制人。
張繡用賈詡之計，騙曹操說自己的部隊要更換駐地，要從曹操的軍營中穿過去。曹操沒有多想，應該是沒料到張繡突然之間就要反叛，便同意了。張繡又騙他說，盔甲太多，輜重車運不下，我讓士兵們都把盔甲穿在身上，你不會多慮吧？曹操也沒有多想，又同意了。
就這樣，張繡的部隊全副武裝進了曹操的駐軍營地，此時曹操帳下計程車兵可能都還在自由休息呢。他們突然發動襲擊，而曹軍沒有防備，吃了個大敗仗。曹操的大兒子曹昂、侄子曹安國和愛將典韋都在混戰中戰死了。
張繡的實力畢竟還是弱小了點，打贏之後就立刻帶兵逃入穰城，曹操令部隊圍攻，圍了一年多都沒打下來，於是一年後，在建安三年曹操再一次親征張繡。
【曹操第二次親征】
這一次曹操親自來指揮圍城戰，圍了一段時間後，後方傳來訊息說袁紹準備渡河南下，曹操只能撤圍，帶著部隊回去增援。
張繡在穰城內當了一年多的“縮頭烏龜”，此時見曹軍突然撤退，“偷尾巴”的慾望一時間變得十分強烈，要帶兵出城攻擊曹軍後方部隊。賈詡勸他說：不能去！張繡不從，執意要襲擊撤退中的曹軍，結果中了曹操的埋伏，吃了大敗仗。
張繡帶著殘兵敗將回城，正懊惱自己沒有聽從賈詡的勸阻時，賈詡又對他說：快去追擊曹軍！一下子把張繡說懵了，之前讓我不去，我沒聽從結果吃了敗仗，怎麼現在反倒又支援我追擊呢？賈詡說：形勢發生了變化，現在追擊準沒錯！張繡聽從了，結果果真打了大勝仗。
回來後張繡問賈詡原因，賈詡解釋道：你善於帶兵，但比不上曹操。曹操一定會親自斷後並設下埋伏，此時追擊就等於自投羅網。他之所以突然撤退，一定是因為後方發生變故，既然已經挫敗追擊，就會讓部隊輕裝前行，安排別的將領斷後。這些斷後的將領不是你的對手，所以你會取勝。
就這樣，在賈詡的謀策下，曹操臨走前還是吃到了大敗仗。
【張繡歸降】
一年後，袁紹與曹操的大軍在官渡附近對峙，袁紹向張繡派去了使者，想要招降他。張繡當然是高興的，他們有共同的敵人，而且以當時的形勢來看，投入袁紹帳下確實是很明智的選擇。
在接待袁紹使者的酒宴上，賈詡直接當面對使者說：“替我們謝過袁紹的好意，可是袁紹這個人連自己的兄弟都容不下，又怎會容得下張繡這樣的天下豪傑呢？”張繡驚呆了，不知所措地問道：“何至於說這種話！”
後來兩人私下謀劃，賈詡勸他歸順曹操。張繡問：袁紹的實力明顯更強，況且我和曹操結了仇，這能行嗎？
賈詡為他分析了三個要點：一、天子在曹操手中。二、袁紹兵馬多，我們歸順後，肯定不重視我們；曹操兵馬少，我們歸順後他不僅重視，還會心存感激。三、曹操這種志在天下的人，是不會掛記著小仇小怨的。
張繡對賈詡的能耐早已是由衷地信服，他最終還是決定走這步險棋，去歸順曹操。
果如賈詡所言，曹操見到張繡後大喜過望，立即結下聯姻，讓兒子娶了張繡的女兒。在官渡之戰中，張繡立下功勞，被封為破羌將軍；後來攻打袁譚時又有功，加封食邑共兩千戶。當時，曹操手下的諸位將領中唯有張繡的食邑超過了一千戶。
後來在征討烏丸時，張繡在行軍途中死去。《魏略》記載說：時為五官中郎將的曹丕多次當面指責張繡道：“你殺了我哥哥，怎麼還有臉見我！”張繡內不自安，便自盡了。
這處記載有錯誤，當時曹丕還沒有當上五官中郎將。不過也有合理之處，曹昂死於張繡之手，縱然曹操能放下，曹昂的兄弟們也未必能放下。他們不給張繡好臉色，而張繡因此惶恐不安甚至自盡，也是合理的。