惟史高以外戚輔政，起初還自知材短甘心退讓。後來有位無權，國柄在蕭、週二人掌握，又得金、劉贊助，史高不過是隨同畫押，毫無實權，因此心中不悅，漸與二人結下嫌隙。於是也找到二人聯絡，以爲抵制之法。
此二人都是宦官，一爲沛郡人弘恭，一爲濟南人石顯。二人因事受了宮刑，入宮爲中黃門。其時霍山領尚書事。宣帝恐其專權，遇有外來文書便命弘恭、石顯取入閱看。及霍氏被滅，宣帝便拜弘恭爲中書令，石顯爲僕射，是爲漢朝宦官干政之始。
但宣帝爲人精明御下甚嚴，而且事必躬親權不旁落，所以二人雖然久掌樞機，卻也不敢作弊。
及元帝即位，開始信任儒生。每遇會議政事，蕭望之多采用古制不依法令；而弘恭、石顯但知援引成例，與望之等議論不合。元帝往往聽從蕭望之。弘恭、石顯所議不用，自然怨恨蕭望之。
卻說有一個待詔名叫華龍，聽說弘恭、石顯正在想法排擠蕭望之，於是連忙寫成一書。書中說是蕭望之與周堪、劉更生祕密計議，意欲罷免車騎將軍史高，離間許、史諸人。書既寫成，等到蕭望之出外休沐之日便詣闕奏聞。
元帝看罷上書，發交弘恭、石顯查問。兩人奉命查訊，蕭望之勃然道：“外戚在位驕奢不法，臣欲匡正國家不敢寬容，此外並無歹意。”弘恭、石顯當即復報，備述蕭望之言語。並劾奏道：“蕭望之、周堪、劉更生結爲朋黨互相稱舉，屢次讒訴大臣毀離親戚，爲臣不忠誣上不道，意欲專擅權勢，請即召致廷尉。”元帝不知召致廷尉即是下獄，以爲是召到廷尉處對質，就答了一個可字，恭、顯立即傳旨，飭拿蕭望之、周堪、劉更生下獄。
過了數日，元帝有事找周堪、劉更生，乃使內侍往召，內侍答稱二人下獄，元帝大驚道：“何人敢使二人下獄？”弘恭、石顯慌忙跪答道：“前日曾蒙陛下准奏，方敢遵行。”元帝作色道：“汝等但言召致廷尉，並未說及下獄，怎得妄拘？”元帝年已及壯，尚不知召致廷尉就是下獄，庸愚可知。弘恭、石顯聽了連忙俯伏在地，免冠叩頭謝過，也不爭辯一語。元帝見他二人賠個小心，又不忍責備，但說道：“放他三人出獄照舊視事。”弘恭、石顯奉命唯唯退出。
二人退至外廷祕密議道：“我等用盡心機設下計策，方得將此輩下入獄中。今主上下令放出復其舊職，我等前功盡棄，而且此輩既出必然算計報復，難保將來不受其禍。但我等剛受主上詰責，未敢上言諫阻，須請車騎將軍入見主上，如此如此進說一番，或可望主上依允。”二人計議已定，便請史高到來說了一遍。史高立即入見元帝道：“陛下即位未久，未有德化聞於天下，便將師傅及九卿大夫下獄考驗；今又無故將其放出，賞罰不定惹人議論。臣意不如趁此將諸人免官，也可遮掩過失。”元帝聽他所言不錯，便下詔將蕭望之、周堪、劉更生免爲庶人。弘恭等見計得行，心中自然歡喜。
事有湊巧，蕭望之等人既已免官，是年三月忽然地震，元帝心中恐懼。加上即位以來關東連年遇災，人民窮困流亡入關，上書言事之人都說是大臣不稱職所致。此時於定國爲丞相，陳萬年爲御史大夫，被責恐懼便想告退。元帝又想召用蕭望之。
蕭望之見元帝復行召用，得知前次無故免官並非帝意，皆由弘恭、石顯、許史等播弄而成，因此心中不甘，遂令其子蕭伋上書請求昭雪。元帝見奏發交羣臣會議，弘恭、石顯奏道：“蕭望之前與周堪、劉更生密謀除去許史，所犯之罪供認不諱，並非有人讒譖；今教子上書訴說無辜，有失大臣之禮，罪犯不敬，應請召致廷尉。”
蕭望之看了漢元帝的詔書就想自殺。蕭夫人連忙阻住道：“此種舉動必非出自主上之意，不妨稍爲忍耐。”蕭望之聽後心中不決，便走到外邊問其門生朱雲。
朱云爲人倜儻最講氣節，見望之來問便勸他自殺。蕭望之聽後仰天長嘆道：“吾曾爲將相年過六十，今年老入獄，貪求生活未免卑鄙。”說罷便呼朱雲之字道：“遊，速和藥來，勿耽誤我死。”朱雲依言將鴆酒一杯進上。望之一飲而盡，不久毒發而死。
使者久候不出連聲催促，忽報望之已死。使者入內驗明回報元帝。時值正午，太官進上御膳，元帝方欲舉箸，忽見使者回來神色慌張。元帝急問如何，使者備言蕭望之已經自盡。
元帝聽後大驚，他連連拍着手說：“蕭老師肯定不肯進牢獄，現在果然被我害死了！”說罷失聲痛哭，連飲食也不能進。左右見元帝如此傷心，也不免落下幾點眼淚。
漢元帝趕緊把弘恭、石顯叫過來責問。弘恭、石顯雖然是漢元帝的心腹，可是他們級別很低，只有叩頭認錯。他們說是誤會了皇帝的意思，但不是成心的。其實是漢元帝誤會了他們的意思，而他們就是成心的。
弘恭、石顯雲山霧罩一說，漢元帝只能怪自己，到最後都不知道問題出在哪裏。
蕭望之是當時的名儒，作風上剛正不阿清正廉潔，政治上高瞻遠矚輔上治下，特別是外交方面卓有貢獻。可他身爲天子之師位高權重，竟然鬥不過兩個中書宦者，可見宦官的勢力越來越大。
蕭望之死後不久，弘恭也得病而死，元帝便以石顯爲中書令。
元帝有一郎官名叫京房，通經致用屢蒙召問。一日元帝又召京房入見。京房與元帝談論良久，因見左右無人，於是設詞問道：“周幽王、厲王身亡國危，不知任用者乃是何人？”元帝答道：“所用者都是奸佞之輩。”
京房又問道：“幽、厲何故好用奸佞？”元帝道：“他誤以爲奸佞是賢人，所以任用。”京房複道：“如何才能知他不賢？”元帝道：“若非不賢，何至危亂？”京房道：“照此看來，須危亂時才知賢與不賢，那時不是遲了嗎？”元帝笑道：“惟有道之君方能察知往來，此外何能見及。”京房道：“齊桓公與秦二世也曾譏笑幽、厲，但一用豎刁，一用趙高，以致國家大亂，他們何不將幽、厲爲戒及早覺悟呢？”元帝道：“齊桓公、秦二世原來算不得明君。”京房見元帝尚是泛談未曾曉悟。當即免冠叩首道：“陛下覺得今日爲治爲亂呢？”元帝道：“今日也是亂極呢！”京房直說道：“後世視今也如今世視古，求陛下三思！”元帝沉吟半晌道：“今日何人足以致亂耶？”京房答道：“陛下聖明應該自曉。”元帝道：“我如果曉得還會複用嗎？”這話其實也不錯。京房欲說不敢，不說又不忍，只得說是陛下平日最親信的近臣不可不察。元帝接口道：“我知道了！”京房起身退出，以爲元帝從此省悟會驅逐石顯諸人，哪知石顯的地位毫不動搖。