他需要謝家出這麼一個人能夠擔當這個斡旋的中間人角色。由於謝安始終不肯出面，只得讓謝家的其他子輩來出來做事，於是謝奕、謝據、謝萬、謝石、謝鐵等謝家子弟一一出來做事輪個遍，但是效果一般般，都達不到司馬睿的預期的要求。
爲何要謝安出面呢？有個小故事可以看出，有一次謝安與王羲之在遊山玩水的途中望着這美好的江山，王羲之發出感慨，
“這麼好的江山竟落得到如此地步，北方被少數民族佔領，南方苟延殘喘，未來不知道怎麼樣了。這樣的國家一定要做一次大的改革纔行，不然大家以後都可能面臨亡國的危險。”
“羲之此言過於悲觀，北方淪喪主要是北方少數民族善於騎射，我們漢族人並不善於此道。這個和國家體制沒有任何關係。當年秦朝時，重用商鞅來變法，國家雖然強大了，也統一了中國，但是秦朝迅速在2年左右時間土崩瓦解了，難道這不能說明什麼嗎？一個國家的存在與體制改革沒有直接關係，主要是這個國家是否是關心了人民的疾苦。當年晉朝洛陽的貴族太過於奢華，以至於買了很多北方奴隸，想不到北方奴隸到了洛陽後造反了，反叛了，反而成爲了洛陽的主人，當年的主人反而被他們殺光了。所以生活過於奢華又不關心勞動人民的疾苦，這纔是國家存與亡的根本因素。”，謝安說完，繼續與王羲之前行遊覽名勝古蹟去了。
從這個故事可以看出，謝安的思想偏向於孟子思想，民貴君輕，當國君不關心人民的疾苦之後，老百姓不管是不是奴隸都會起來反抗。
謝安主張對國家不大動，以小動來代替大動，大動要傷精動骨，說不定沒多久國家就垮了。
再說了，謝安現在手上一沒軍隊，二沒人，他也斡旋不了司馬家與王家的矛盾。
由於司馬睿屢次邀請謝安出來做官，謝安也有點煩惱，謝安覺得索性還是搬山上去住比較好，這樣別人也不知道自己住哪裏，也沒有啥人來打擾了。
於是他繼續帶着夫人周遊各地，名爲遊歷實爲探測一下哪裏更適合居住，過上隱居的生活。
當謝安在找地方隱居的時候，前秦對晉朝開始發動攻擊了。前秦的攻擊暫時不是全面的，他們對晉朝目前的情況不熟悉，只知道改叫東晉了，徹底和西晉說再見了，西晉的皇帝都不知道到哪裏去了。
前秦的符堅先派朱肜把東晉長江北岸的梁州佔領了，他發現東晉連點大動靜都沒有，料定東晉沒實力反撲，就派徐成把益州也佔領了。
前秦軍隊佔領這兩個地方像玩一樣的，東晉軍隊裏都流傳說符堅長着三頭六臂，力大無比，誰遇上誰沒命，所以大家夥兒一聽到前秦軍隊來了就緊閉城門防守，防守了一大段時間看到前秦軍隊還沒撤離，就索性堅持不住了，開門投降了。
就這樣前秦的軍隊越來越強大，各種武器都有，除了十八般兵器，還把馬拉的戰車也用上了，好幾十輛戰車和騎兵一衝，東晉步兵像小草一樣被任意宰割。
東晉的探子把這些消息傳到建康都城，各個王公貴族都是惶惶不可終日，只有謝安還是那麼悠閒，老樣子，早上稀飯加鹹鴨蛋，晚飯粥加饅頭加鹹菜。
他不喜歡喫山珍海味，每日的粗茶淡飯纔是謝安最想過的日子。