周黨不願意做官，總算還來了一趟。其他名人有的假裝害病乾脆不來，有的隱姓埋名逃到山林裏去了。這些名人之中最出名的一個要數嚴光，也叫嚴子陵，他跟漢光武還同過學，兩從小就挺好。漢光武即位以後老想念他，可又不知道他在哪裏。他找來一個畫工，把嚴子陵的相貌說了一遍，就吩咐畫工畫他的像。畫工按照漢光武說的畫了個大概。漢光武一看還有點像。他又叫畫工再修改幾下。嗬！簡直就是真的嚴子陵。有了這一張，再畫就方便了。漢光武派人把這些畫像分送到各郡縣，叫官吏和老百姓尋找嚴子陵。
這種畫形圖影的辦法還真頂事，齊國上書給漢光武，說有個男子披着羊皮，老在河岸上釣魚，相貌跟畫像有幾分像，不知道是不是他。漢光武馬上準備好上等的車馬，派使者到齊國去接他。
使者見了嚴子陵，奉上禮物請他上車。嚴子陵推辭說：“你們看錯人啦。我是打魚的，不是嚴子陵。禮物拿回去，讓我安靜地過日子吧。”使者哪裏肯聽，死乞白賴地把他推上了車，飛一樣地送到京城賓館。漢光武親自去看他，嚴子陵臉朝裏躺在牀上，不理他。漢光武走過去摸着他的肚子說：“喂，子陵，你怎麼啦？不願意幫幫我嗎？”嚴子陵翻過身來盯着漢光武說：“人各有志，你逼我幹嗎？”漢光武嘆了口氣說道：“子陵，我真的不能收服你嗎？”嚴子陵聽後更加不理他了。他寧可收幾個弟子教書，也不願意做漢光武的臣下。
漢光武請他搬到宮裏去，對他說：“朋友總還是朋友吧。”嚴子陵這才答應他到宮裏去走一趟。那天晚上，漢光武跟他睡在一起。嚴子陵故意打着呼嚕，把大腿壓在漢光武身上。漢光武就讓他壓着。第二天漢光武問他：“我比從前怎麼樣？”嚴子陵回答說：“好像有一點長進。”漢光武樂得大笑起來，當時就要拜他爲諫議大夫。嚴子陵怎麼也不幹，他說：“你讓我走，咱們還是朋友；你逼着我，反倒傷了和氣。”漢光武只好讓他走。嚴子陵已經露了面，不必再更名改姓了，他就回到富春山種地、釣魚，過着隱士的生活。富春山旁邊就是富春江。江上有個臺，據說就是當年嚴子陵釣魚的地方，所以稱爲嚴子陵釣臺。
東海人王良受官沛郡太守，遷任大中大夫，進爲大司徒司直，在位恭儉，妻子不願隨朝仍住東海。司徒掾史鮑恢因事至東海，經過王家，王良妻方從田間歸來，鮑恢素未相識，錯疑是傭婦，於是昂然與語道：“我爲司徒掾史，便道至此，欲見王司直夫人！”王良妻答道：“妾身便是！掾史勞苦。”鮑恢慌忙下拜，並問良妻有無家書。良妻答稱：“在官言官，不敢以家事相煩。”鮑恢嘆息而還。賢婦風範比其夫尤爲難得。
卻說光武帝既立郭氏爲皇后，嫡子劉強爲皇太子，相安有年。郭後復生四子，一名劉輔，一名劉康，一名劉延，一名劉焉。陰貴人也生五子，長名劉陽，次名劉蒼，次名劉荊，又次名劉衡，又一名劉京。尚有一子劉英，爲許美人所出。許美人無寵，故只生一男。陰貴人最得寵愛，光武帝有時出征，常命陰貴人隨行。陰貴人初次生男，曾在元氏縣中分娩，彼時從徵彭寵適當有娠，故在行轅中產兒，取名劉陽，劉陽少時聰悟，十歲時就通曉《春秋》。
建武十五年（39年），劉陽受封東海公。當時朝廷發現墾田畝數和人口不對，於是重新清查田畝，這就是歷史上有名的“度田事件”。各個州郡的官員進京彙報工作，光武帝劉秀看到陳留吏的牘上寫有，“潁川、弘農可問，河南、南陽不可問。”便問陳留吏這是什麼，陳留吏說不知道什麼意思，他是在雒陽的長壽街上得到的。這時帳幄後面只有十二歲的劉陽插話說，這是郡裏的官吏教陳留吏怎麼覈查土地的。劉秀又問：那爲什麼河南、南陽不能問呢？劉陽又說，河南是帝城，南陽是帝鄉，這兩個地方田畝和宅第肯定逾制所以不能認真核查。劉秀於是讓虎賁將詰問陳留吏，陳留吏所言果然和劉莊一樣。從此劉秀對自己這個只有十二歲的兒子愈加青睞。
郭皇后當然懷嫌，在光武帝前冷嘲熱諷語帶蹊蹺。光武帝積不能容，於是夫妻反目，到了十七年冬月，竟突然下詔道：
皇后懷勢怨懟，數違教令，不能撫循他子，訓長異室。宮闈之內，既無關睢之德，而有呂霍之風，豈可託以幼孤恭承明祀？今遣大司徒戴涉、宗正劉吉持節往諭，上繳皇后璽綬。陰貴人鄉里良家，歸自微賤，自我不見，宜奉宗廟爲天下母。特頒詔以聞。
也就是廢郭後立陰後。
詔既頒發，羣臣互相錯愕莫敢發言。郭皇后只好繳出印綬徙居別宮。那色藝兼優的陰貴人竟得超居中宮母儀天下。
那麼劉秀爲什麼要廢后呢？
首先郭聖通與劉秀的婚姻並非出於本心，而是戰爭時期政治之下的犧牲品。劉秀剛到河北去的時候，可以說是隻身一人無權無力。尤其當時河北已經有了掌權的王郎，勢力絕對碾壓劉秀。這時西漢宗親劉楊看中了他的實力和人品，要把外甥女郭聖通嫁給劉秀。劉秀在劉楊的幫助之下直接進攻邯鄲打敗了王郎，成爲當地的一方諸侯。後來劉秀與劉楊兩者聯合，繼續南征北戰奪得了天下。
劉秀成爲皇帝之後，不再需要劉楊的幫助，劉楊一幫人該幹什麼還幹什麼，絲毫沒有晉升的可能。這下劉楊心裏就比較惱火了，在劉楊看來，東漢就是他們河北老爺們一手打下來的，劉秀只是撿了個漏而已。
所以劉楊爲此悶悶不樂，甚至連劉秀的使者前來他也閉門不出。這在劉秀看來就是謀反的意思，既然是謀反，自然就要被誅殺。