683的冬天，唐高宗李治在洛陽城的貞觀殿去世，留下遺詔，命皇太子李顯登基，但”軍國大事有不決者，取天后處分。”而裴炎升任中書令受遺命輔佐唐中宗李顯。
在這三個人中，唐中宗李顯是話語權最弱的那個人，武則天臨朝稱制，而裴炎將政事堂遷到了中書省，成為宰相之首。
不過或許是李顯太過年輕，在他剛剛登基不久，他就試圖擺脫武則天的控制，所以他急於培植自己的力量，皇后韋氏的母族就成為他的選擇，他想讓韋后的父親韋玄貞做侍中，又想讓乳母的兒子成為五品大員。
裴炎作為顧命大臣豈能任由李顯胡鬧，他竭力阻止此事，羞惱成怒的李顯直接說：
“我意讓國與玄貞，豈不可？何惜侍中邪？”
這讓裴炎很失望，他向來知道李顯軟弱，沒想到他居然有這樣的想法，他自然不能讓李顯胡作非為，也不能接受有這樣一個不聽話、不可控的皇帝，於是，裴炎就將這件事告訴了武則天。
在這件事上，裴炎和武則天的意見驚人的一致，兩人都想要廢了不聽話的李顯，於是兩人合作了一把，將李顯趕出了京城。可憐李顯做了不到兩個月的皇帝，就被自己的親生母親給廢為廬陵王並且外放。不過，裴炎雖然在這件事上和武則天達成了合作，但是他並沒有支援武則天。
實際上，他並沒有想過幫助武則天登基為帝，甚至他是非常不喜歡武則天稱帝的，他只是想找一個聽話的皇帝，而他的物件就是唐睿宗李旦。李顯被廢之後，李旦登基為帝，而武則天依舊臨朝稱制。時間久了，裴炎就不耐煩了，他想方設法想要讓武則天歸政於李旦，讓李唐王朝的統治走上正軌。
武則天想立武氏七廟並追封先祖為王，裴炎就拿出呂后的例子才勸阻；武則天又在武承嗣的勸諫下想除掉李元嘉等李唐宗室成員，裴炎又出來阻攔，等等。
兩人之間的矛盾越來越大，到了後來，裴炎甚至計劃在武則天游龍門的時候以武力逼迫武則天歸政於唐睿宗，結果因為天氣的原因，武則天取消了這次出行，讓裴炎的謀劃落了空。
但這依舊不能讓裴炎氣餒，在大唐名將徐茂公之孫徐敬業揚州起兵反對武則天的時候，裴炎再次在朝堂上提出讓武則天歸政於李旦，他說：
“天子年長矣，不豫政，故豎子有辭。今若復子明辟，賊不討而解。”
武則天此時已經有了除掉裴炎的心思，御史知道武則天的心思，於是彈劾裴炎有異心，武則天趁機將裴炎下獄，並不顧大臣們的勸諫，堅持
“炎反有端，顧卿未知耳。”
很快，武則天就下令將裴炎在都亭驛斬首。
對於這一切，唐睿宗這個傀儡皇帝完全沒有任何話語權，只能看著自己的母親把持朝政，甚至將他軟禁。
不過，關於宰相裴炎的死因，正史之外，筆記小說中還有另外的解釋，唐高宗時期進士及第的青錢學士張鷟的筆記小說《朝野僉載》中有這樣的一個記載，說是徐茂公的孫子徐敬業（當時還叫做李敬業）在揚州起兵反對武則天把持朝政。
徐敬業想要讓當朝宰相裴炎做自己的內應，但將裴炎拉下水談何容易，他讓駱賓王為自己出謀劃策。駱賓王略一沉思，就編了一首童謠：
“一片火，兩片火，緋衣小兒當殿坐。”
然後讓洛陽一帶的兒童傳唱，而且故意讓裴炎能聽到。
裴炎那段時間經常聽到這個童謠，就上了心，尋找文人學士對其進行破解，而駱賓王就在此時進入裴炎的視野，不過起初駱賓王什麼都不說，無論裴炎拿出什麼東西來，都不能打動他。但當裴炎拿出古代的忠臣烈士圖而駱賓王看到司馬懿的畫像時，終於告訴了裴炎童謠的意思，直指裴炎。
裴炎心動，就答應和徐敬業合作，當徐敬業準備起兵的時候，裴炎就給徐敬業送去了一封信，只不過信還沒有到徐敬業的手中，就被武則天的人截獲了。
不過，當他們開啟信的時候，卻發現此信很是蹊蹺，竟只有兩個字：青鵝。眾人不解其意，武則天接過信，沉思了片刻，對群臣說
：“此‘青’字者十二月，‘鵝’字者我自與也。”
其中的深意呼之欲出，這不是就是裴炎要成為徐敬業在京中的內應嗎？而且還約定了時間。
武則天豈容裴炎在自己面前行如此之事，裴炎是不能留了，她直接將裴炎下獄並很快將其誅殺，而徐敬業的浩浩大軍也沒有堅持多久，九月起事，十一月就落敗了。當然，關於“青鵝”的這個故事只出現在筆記小說中，並不見於正事，其真實性大打折扣，姑且當個一個故事即可。