大和九年的京城，官員們正在舉行一場聚會，這是曾經的兵部尚書，現在賦閒在家的李願所發起的。本來，李願家財萬貫，聲色犬馬，過著富足無憂的生活，經常也宴請當時的官員和社會名士。但這次聚會，氣氛卻比較尷尬，因為席間來了一個不速之客。
這個不請自來之人，就是在當時和後世都非常出名的大詩人杜牧。和當時許多文人一樣，杜牧也喜歡參加這些歌舞飲宴，灑脫不已。但是，因為當時杜牧擔任的官職是監察御史，就是負責監察百官、肅整朝儀的。李願擔心出岔子，就沒有邀請杜牧，可沒想到他卻親自登門。
很顯然，杜牧也不高興，李願只得安排了一個好位置，請這位大詩人坐下。推杯換盞之間，氣氛逐漸緩和。此時，安排的歌姬表演，更是讓宴會進入了真正的高潮。
李願不愧是當過兵部尚書的人，這次歌姬一出場就是上百人，個個美若天仙，傾國傾城。在場的賓客沒有一個不瞪大了眼睛，生怕錯過眼前的美人美景。最失態的還是杜牧，他直勾勾地看著歌姬們，眼睛都不捨得眨一下。
就在眾人如醉如痴的時候，突然之間，杜牧又大聲地問李願：“聽說您有個最美最心愛的歌姬叫做紫雲，她在哪裡？”李願也沒有多想，頗為自得地指給杜牧看。
沒想到，杜牧看了一眼後，行為更加張狂失態，他脫口而出：“確實不錯，應該送給我才是啊！”
這一下，眾人皆倒，李願更是心有怒氣。在唐朝，主人蓄養的歌姬與妻妾不同，就相當於他的財產，確實是可以送人的。但是，這畢竟也是私事，誰會在光天化日之下，大庭廣眾之中說這些。難道，誰還怕別人不知道自己好色風流嗎？
杜牧當然灑脫，所以他可以在詩中毫不掩飾地表示“十年一覺揚州夢，贏得青樓薄倖名”。但如此場合之下，這麼多雙眼睛盯著自己，也覺得很不好意思。不過，才子就是才子，他不慌不忙起身道歉，認罰三杯，而且還隨後吟誦出這首詩：
兵部尚書席上作
華堂今日綺筵開，誰喚分司御史來？
忽發狂言驚滿座，兩行紅粉一時回。
你還別說，杜牧的這首詩太過巧妙了，讓本來也不太高興的李願也無話可說。在前兩句中，杜牧就已經將自己沒有受邀的不滿發洩出來了：李上述你今天在豪宅舉辦宴會，可又有誰告訴我一聲？這個語氣，分明表達了自己的不滿。
雖然李願當過尚書，官職高於杜牧，但畢竟現在已經賦閒在家。杜牧這麼說，就是先聲奪人，告訴李願自己並不痛快，在氣勢上就壓過李願一頭。
接下來，杜牧這才略作道歉，自己的狂語確實突如其來，不合時宜，所以讓滿座賓客大驚失色，也引得了那些美麗的歌姬紛紛回頭。這樣輕描淡寫的道歉，當然也沒有多少誠意，卻也清新雋永，獨具一格。關鍵還是席間的即興之作，實在令人激賞不已。
李願也情不自禁地鼓掌，唐朝人的胸懷寬廣，又特別愛才惜才。杜牧從來就是寵兒，也都是因為他的才華出眾。因此，李願不但沒有生氣，而且在思量過後，決定還是將紫雲送給杜牧，成就才子佳人的美談。