日磾長子爲武帝弄兒，因淫亂爲日磾所殺。尚有次子金賞、三子金建皆爲昭帝侍中，與昭帝年歲不相上下，每日一同臥起，甚是親愛。
金賞承襲父爵，身佩兩綬，金建僅佩一綬。昭帝時年九歲，見他二人所佩印綬兄多弟少，特語霍光道：“金氏兄弟兩人，何妨並給兩綬呢？”霍光答道：“金賞嗣父爲侯，故有兩綬；餘子例難封侯。”昭帝笑道：“欲加侯封，但憑我與將軍一言。”霍光正色道：“先帝有約，無功不得封侯！”昭帝聽了也就無語。
先是武帝遺詔本是三人同封，如今既封金日磾，霍光與上官桀也就一同受封。時衛尉王莽之子王忽身爲侍中，在外揚言道：“先帝崩時我常在左右，豈有遺詔封三人之事，此乃羣兒自相貴耳！”霍光聞言大怒，切責王莽。王莽遂將王忽毒死。
金日磾既死，只餘上官桀一人幫助霍光。上官桀與霍光的關係非同一般，霍光一個女兒嫁給上官桀的兒子上官安，而且生下一女上官氏。
因此每遇霍光休沐出外，上官桀便代其入內判決政事。霍光因他是兒女親家，且又同受顧命，所以相信不疑。但重要事件仍須霍光定奪施行。其初二人相安無事，但爲時既久，彼此遇事各執意見，上官桀遂與霍光爭權，究竟爭他不過，因此積下許多嫌隙。
旁有賓客見霍光權震一時，便進言道：“將軍不見昔日呂氏擅權排斥宗室，不與共事，是以天下不信，卒至滅亡。今將軍當國，帝又年幼，宜用宗室，遇事多與大臣商議，方可免患。”霍光依言，乃選宗室劉闢疆、劉長樂二人爲光祿大夫，又命劉闢疆兼守長樂衛尉。
霍光使蓋長公主入宮供養昭帝，以爲她年老寡居，家中無甚牽累。可他不知蓋長公主有個相好名叫丁外人。丁外人籍隸河間，生得英俊美貌，蓋長公主朝夕勾引，丁外人也就移篙近舵，兩人湊合成雙，與竇太主情行相似。如今蓋長公主被召入宮，宮禁森嚴，丁外人不得擅自出入。不過蓋長公主思念丁外人，時常外出，有人便將此事報告霍光。試想蓋長公主身爲皇姐，與一個平民私通，論起當時法律本應伏誅。但霍光覺得過去武帝對於館陶公主都十分優待，皇姐與人私通也情有可原，於是叫昭帝下詔讓丁外人一同入宮。
蓋長公主見到詔書自然歡喜。從此丁外人便毫無顧忌地出入宮中。
光陰荏苒，到了始元四年，昭帝已十二歲，蓋長公主在宮既久，後宮之事歸其掌管，因見昭帝年紀漸長，便欲爲昭帝納周陽氏之女。周陽氏系淮南厲王之舅趙兼，得封周陽侯，後來便改姓周陽。
長公主與之素識，以故欲納其女。事還未行，卻被上官桀之子上官安得知。上官安即霍光女婿，聽說此事後忽然生心，欲將己女配與昭帝。又想自己女兒即是霍光外孫女，此事霍光必然贊成。若得他允許，長公主也無可奈何。上官安想得心花怒放，急來尋霍光告以己意。霍光見外孫女尚幼，不肯聽從。上官安一場掃興，回到家中埋怨丈人太拘執，心想失此機會未免可惜，沉思良久忽得一計。遂又往見丁外人，他與外人十分相得，便向他說道：“聽說長公主選擇後宮，我有一女容貌端正，想仰賴長公主之力得入宮中立爲皇后，此事成否全在足下。足下若肯向長公主前盡力成全，我自然感激圖報。漢家常以列侯匹配公主，足下奉有明詔得侍公主，何愁不得封侯？”丁外人聞言心中甚喜，立即應允。乃入見長公主，備述上官安之語。長公主於是告知昭帝，昭帝立召上官安之女入宮，封爲婕妤，拜上官安爲騎都尉。過了月餘，長公主又力勸昭帝立上官氏爲皇后，並擢上官安爲車騎將軍。
上官安感恩長公主，便欲爲丁外人營謀封侯，但是封拜之權在於霍光，必須得他允許。於是不時守住霍光要求封丁外人爲侯。霍光任他糾纏只是不肯。上官安身爲女婿，終難拗過丈人，於是告知父親上官桀。上官桀又向霍光提及此事，霍光仍然不聽。上官桀見封侯無望，便想拜丁外人爲光祿大夫，使他能入見昭帝。霍光忿然道：“丁外人無功無德，如何得封官爵，願勿復言！”上官桀自覺沒趣，歸來告訴上官安，父子二人見事不成，自覺無顏面對丁外人。
卻說在漢武帝病重的時候，劉旦派人飛馬趕到京師，向武帝提出要帶兵回京宿衛都城。這個請求讓漢武帝大怒，要知道生死在百姓之中還是忌諱，更不用說是高高在上的皇帝，劉旦這樣做就是提醒父親死期不遠，要趕緊做出決定。劉旦此舉白白被剝奪了三個縣邑，還失去了劉徹的信任，也失去了繼位的可能。
漢武帝駕崩，劉弗陵繼位，劉旦更加加快了造反的步伐。上官桀於是遣人私與劉旦交結，令其上書請封丁外人爲候。劉旦自前次謀反不成，數年以來鬱郁不得志，今見上官桀父子肯與交結，心中大喜，便想借此聯絡朝臣爲其黨羽，乘機謀取帝位，於是遣人上書昭帝說道：“臣與陛下獨有長公主爲姊，丁外人宜受爵號。”昭帝見書後問霍光，霍光力持不可，昭帝遂將書批駁不準。長公主得知此事始末，遂與霍光有隙。
上官桀父子費盡心力爲丁外人求封，均被霍光把持不得如願，心中異常慚愧，便歸怨到霍光身上。上官桀自想先帝在日，我就位列九卿，居霍光之上。如今父子併爲將軍，又是國戚，皇后系我孫女，霍光不過是外祖，反得專制政事，令人不平，於是遂起爭權之心。正當此時偏又發生一事。有太醫監名叫充國，乃是上官桀岳父所愛之人，倚借外戚之勢，無故闖入殿中。左右報知霍光，霍光命拿捕下獄，交與刑官訊明覆奏，應處死罪。上官桀又向霍光討情，霍光不允。到了冬月將盡刑期將近，眼看充國一命不保，卻被長公主聞知，便替充國獻馬二十匹求贖其罪，方得減刑免死。上官桀因此深怨霍光，愈加感激長公主。