謝安雖然出山了，但是也是心事重重，這心事不是公務而是私事。其實，謝安有個隱祕的相好，名叫小潔，是個歌姬，所謂歌姬就是賣唱不賣身的女子，這女子彈得一手好琵琶，那唱聲也能讓男人們陶醉，再加上柳條腰，公子哥們爭相追求，但她和謝安挺投緣。因爲她也能填詞作賦，所以謝安也對她格外地喜歡，好幾次都想把她娶回家。但是謝安的老婆劉氏不同意謝安取妾，理由是她覺得謝安是晉朝的棟樑，如果遇到哪個狐狸精被丟了魂，這不光是謝家的事，而且還是國家的事，所以劉氏一直惡人做到底，一直不同意謝安納妾，既然大老婆不同意他納妾，謝安也沒有其他辦法可施展，所以就憋着，等待合適的機會。
有的時候，謝安也通過自己獨特的方式來表達自己的不滿。有一次，謝安給他的學生和侄子講課的時候，故意選擇《關睢》、《螽斯》這兩首詩來解釋，而且他還故意把聲調調得很高，有意想讓在裏屋的劉氏聽到。這《關睢》、《螽斯》兩首詩講的是關於婦女以不妒忌爲美德，當然這個妒忌也自然包括了女人之間的容貌的妒忌。謝安特地選這兩首詩高聲朗讀也是指桑罵槐，其用意也顯而易見。劉氏也是大家閨秀也讀了好幾年私塾，對於謝安這套把戲也自然明白，只是裝糊塗不點穿而已。劉氏在內屋裏面有條不紊地織着布，這織機的節奏聲也慢慢傳入了謝安的耳朵，謝安明白夫人這也是向自己傳遞着訊息，可能在說：“不管你謝安怎麼抱怨，夫人我就是不答應。”這謝安也不笨呀，自己有招，就趁着課間休息喝茶的工夫，讓劉氏最喜歡的小外甥到劉氏那裏去嘮嘮嗑。劉氏自然會提起他們剛纔朗讀的那兩首詩，假裝裝糊塗問小外甥這是誰寫的。小外甥向劉氏解釋說這是周公寫的。劉氏故意提高聲調說：“這周公是男的，自然向着男人爲男人寫這詩，如果換做周公的老婆來寫這兩首詩，自然會向這女人寫詩。”隔壁的謝安喝着茶聽了這個話，差點沒把茶水給噴出來，連連咳嗽着想把嗆着的水給咳出來。內屋的劉氏聽見這咳水的聲音自然手擋住小嘴，呵呵一笑。
不知怎麼的，謝安想納妾但劉氏阻礙納妾這事被傳到了司馬紹的耳朵裏。司馬紹心想，這謝安給足自己面子了，大老遠地跑到建康做自己的大臣，我也應該爲他做點啥呀。於是，司馬紹和自己的心腹太監商量了此事，太監徐蕭樺知道要辦成這事必須謝安的老朋友王右軍王羲之來辦。於是乎，太監徐蕭樺差人給紹興的王右軍送了點京城有名點心，並把這層意思轉達給了王右軍。王右軍自然欣然接下這個任務。他也沒有直接去謝安家，而是騎馬去了劉氏的老家。這劉氏的老家離開王右軍家不遠，地處諸暨地區。在中國有兩個地方產美女多，一個是諸暨，傳說西施就是諸暨人，還有一個地方就是揚州。王右軍用自己的書法作品擺平了劉氏父親，並取得了劉氏父親的一封親筆信，得意洋洋地騎馬直奔謝安家。
此時的謝安正躺在牀榻上歇着，一看王右軍來訪，立馬起身相迎。謝安納悶，這王右軍沒事突然來串門幹啥，但是雖然是滿腹疑慮也裝作淡定，泡好茶端給王右軍享用。王右軍點頭看着這杯上的圖案說：“茶雖甜，人心缺急。”謝安聽了後，有點猜到王右軍的意思了，心想：“這王右軍鬼啊，他怎麼有點猜到我現在的心思了？莫非有人告訴他了不成？”不過這謝安也不確定，就順口說道：“何人心急？”王右軍說道：“自然是杯中人。你看啊，這杯子上畫了兩個人，一個男人，一個女人，男人想邀請女人去賞花，但是女人卻要去那橋上離開，你說那男的現在心急不急？”謝安拿起茶杯，自己端詳，確實畫了兩個人，一個男人，一個女人，於是問道：“有何辦法讓這男人心安呢？”王右軍說道：“自然是書信。”他說着話，從懷中掏出劉氏父親寫給劉氏的書信，並對謝安說：“你讓僕人給夫人送去吧。”劉氏的貼身丫鬟把書信傳遞給了劉氏，劉氏閱讀了一番，隨即把自己手中繡好的上面繡有一對鴛鴦的手帕讓丫鬟給謝安捎去。丫鬟把手絹給謝安，並傳話說：“夫人問你這繡得如何？”謝安一看自然明白，這是夫人傳話說是同意了，便說道：“極好，極好。謝夫人。”謝安轉身對王右軍作揖說道：“多謝兄臺幫忙。”王右軍說道：“謝兄不必客氣，這也是皇上的美意，要謝就謝皇上吧。那你以後要多爲朝廷出力喲。在此祝賀謝兄了。”謝安答道：“一定一定，我一定做好自己的本職工作，多爲國出力。還請右軍兄不日來府上赴宴。”
兩人說罷，謝安目送王右軍和坐騎遠離後返回入了自己的府邸。