張之洞的原配，姓石，名不詳，後人常稱之為石氏，是貴州都勻知府石煦的女兒。咸豐四年，張之洞中瞭解元的兩年後，便在他人的撮合之下，與石氏在這一年的冬天步入了婚姻的殿堂。石氏是一個溫柔賢惠的女子，具備一切封建婦女的美好品德。難得的是，她還從自己母親那裡繼承了極高的琴藝，因此婚後的兩人很有共同話題，感情極為要好。據史料載，結婚後張之洞常常與石氏一起彈琴唱歌，笑看人間風雨。石氏在陪伴張之洞度過了蟄伏的十一年後，在同治四年病逝，成為張之洞心中最重要的女人。
同治九年春天，失去妻子五年的張之洞，娶了自己的二房夫人唐氏。唐氏是湖北按察使唐樹義的女兒，她在與張之洞同心度過了兩年的生活後，給張之洞留下一個一歲半的兒子，便因病去世。因為兩人的婚姻生活尚短，所以記載不多。
光緒二年，張之洞娶了自己的第三任夫人，四川龍安知府王祖源的女兒王氏。王氏是張之洞好友王懿榮的妹妹，是張之洞在四川任學政期間，在好友王懿榮的撮合下，最終結成良緣。
實際上張之洞和王氏早在之前就已經認識，當年王懿榮在京城的時候，是張之洞的鄰居。而王氏也因為他哥哥的原因，與張之洞結識。王氏溫文賢淑，知書達理，才華出眾，與張之洞的原配石氏不相上下。早在當時張之洞就已經心儀於王氏，不過當時他已經有了唐氏，所以並沒有將這份感情顯露出來。後來唐氏病逝，張之洞來到四川任職，遇見了好友王懿榮和王氏，本以為王氏已經為人妻子的張之洞沒有想到，王氏彷彿一直在等他一般，並沒有婚配。自然而然的，兩人成了親。
王氏不僅善作畫，是名副其實的才女，而且是一個合格的賢內助。不論張之洞做出什麼樣的決定，她都會用自己的方式支援力挺。但好景不長，光緒五年，王氏病故，只為張之洞留下了一個女兒張仁準。
王氏去世之後，張之洞再沒有續娶妻子，雖然他納了李氏、秦氏等作為側室，卻都沒有把她們抬為正室。
除了以上三個女人之外，張之洞還與一個男人有著緋聞，那就是張之洞的首席幕僚趙文昌。昔時武昌有“湖廣總督張之洞，一品夫人趙鳳昌”的戲語流傳，足見趙氏在張之洞主持的“湖北新政”中的作用不可小視。張之洞在處理公文時，常常有一個習慣，那就是率性而為。常常在處理某件事情的時候，腦筋一轉想到另一個問題，便隨手丟掉手中的公文，翻閱典籍，或者是尋找其他公文。所以張之洞的書房，東西放的很雜，也很亂。但趙文昌因為記憶裡驚人，所以往往能幫張之洞找到他想要的東西，張之洞在很多方面都離不開他。後來雖然因為政治原因，忍痛罷黜趙鳳昌，但兩人實際上並沒有斷了聯絡。趙文昌雖然脫離了官府，但仍舊以布衣之身活躍滬上，趙宅不僅成為張之洞蒐集內外資訊的基地，也是湖北派往海外留學者的中轉站。這兩人之間的曖昧關係，也難怪會流傳出“湖廣總督張之洞，一品夫人趙鳳昌”的說法了。
晚清同性風氣流傳，當時許多士大夫階層都有這麼一個習慣愛好，但這並不代表他們就是同性戀。而張之洞和趙鳳昌到底是不是這麼一個關係，還真不好說，便只看各位自己的想法了。