這些奏摺，劉詢一律留中。於是一些朝臣去拜訪許廣漢，或指責他把女兒嫁人作妾；或做痛心疾首狀，痛陳兩家聯姻的害處；或扮好人，提醒他要爲家族考慮，皇后的孃家有北安王這個強助，定然遭皇帝所忌，說不定會有滅族之禍。
許廣漢只是一個小吏，本就沒什麼見識，聽這些人痛陳厲害，嚇得不輕，趕緊進宮和許平君商議。
許平君本就有些不情願，總覺得虧待了妹妹，一見老父動搖，也起了退婚的念頭。晚上劉詢回建章宮，她道：“雖說大哥年齡和婉兒相當，可上頭還有一個霍王妃，不如把這門親事退了，爲婉兒另擇良配。”
劉詢笑道：“詔書一下，還能更改麼？朕封婉兒爲北安王側妃，和蘇氏平起平坐，如何？”
許平君搖頭，道：“側妃可不是正妃。”
到底身份還是差了。
劉詢道：“小君，婉兒過門，上頭沒有公婆管束，霍氏又是明理之人，她不會爲難婉兒，你看她對顧氏、趙氏如何？把婉兒嫁到有公婆，甚至太公、太婆的人家，規矩禮節又繁瑣，婉兒受得了麼？”
能屹立至今不倒的勳貴，哪家沒有重重規矩？這些規矩正是他們成爲貴族，能在人羣中一眼與普通大衆區分開來的所在。
許平君一想也是，妹妹嫁進北安王府，起碼想幹什麼幹什麼，沒長輩管束。她想通了，反過來勸許廣漢：“陛下看好這門親事，您就別再聽那些人亂說了。我原本還覺得北安王虧待妹妹，可昨晚想了半宿，父親，我們的出身也普通得很，不如就妹妹的意，同意這門親事吧。”
許廣漢沒什麼主意，只要大女兒答應，他哪會反對？親事就這樣定下來。
那些別有用心的朝臣開始上奏摺圍攻程墨，各種吹毛求疵，有一位老臣甚至連他當年爛賭，賭光祖業的舊事都拿出來彈劾，說這樣的人，如何能居高位，甚至爲異姓王？
這封奏摺連小陸子都看不過眼了，叫鄭春悄悄出宮，向程墨遞了消息。
程墨大怒，說他別的猶可，拿這件事出來說，完全沒道理，不說當年他還沒穿過來，就說這些年，他一直沒有賭過，跟張清、武空等人打牌，也是娛樂消遣，何曾真的上過賭坊？現在翻出這筆爛帳，想幹什麼？
不過兩天，司隸校尉便查到這人小時候拿人家的桃子不還錢的“光榮事蹟”。程墨上了一封奏摺，說這人人品敗壞，連桃子這麼不值兩個銅板的東西都賴帳，怎能在朝爲官？並把這件事散佈出去。
剛好是桃子大量上市的時節，這人走到哪，有些促狹的人便上一盤桃子，打趣他，讓他多喫兩個，省得拿人家的桃子不還錢。
就在這時，張敞再次上門求見，道：“王爺位極人臣，和平恩侯府結親，又處於風口浪尖，不如低調些，以免引起陛下忌憚。”
他冷眼旁觀多日，朝野中大半朝臣反對這門親事，以致攻訐程墨，不過擔心程墨地位牢固，權力太大，危及皇室。
臣子都這樣想，何況皇帝？若劉詢決心對程墨動手，皇后的孃家又如何，不也一樣人頭滾滾？因而，當務之急，還是收斂。
在來北安王府之前，楊敞考慮了兩天，最後決定試試，就當遞投名狀，若是程墨虛心納諫，他不妨成爲程墨陣營中的一員，若程墨不聽忠言，他定然疏遠程墨。
程墨用招待普通客人的茶招待他，一聽這話，馬上吩咐榆樹端茶具來，用特製的工夫茶具招待他，待小泥爐水沸，茶香四溢，他道：“子朝之言，正合我意。”
如果不是爲了避禍，他何必辭去所有實缺，只當閒散王爺？許婉對他動心，死纏爛打，以致他一時失控，實是出乎他的意料。事已至此，他並不後悔。可和皇后孃家結親，會遭遇什麼，他心裏卻是有數的。
楊敞笑了，端起茶杯，道：“王爺，下官以茶代酒，敬您一杯。請。”
眼前的青年看着年輕俊朗，卻着實精明，若光看他的外表，不把他當回事，定然會喫虧。楊敞決定以後跟程墨走，成爲他旗下的一員。
楊敞走後，程墨以籌備婚禮爲由，閉門謝客。
最近一段時間，他閉門謝客的次數實在有點多，每次閉門謝客一段時間，便會引爆新的話題，讓人羨慕嫉妒恨。那些上門求見，卻不得其門而入的人，越發猜測他要幹什麼，甚至有人開了盤口，賭他接下來的動向，是迎得美人歸，還是重回朝堂，抑或引得皇帝猜忌，身死族滅？畢竟他的妻室來歷都非同小可，這些都是不可忽視的力量。
有謠言傳霍光要廢劉詢，扶立程墨爲帝。這條消息不過半天，便傳遍朝野，很多人不相信，更多的人卻半信半疑。
丙吉聽到這消息，來見劉詢，道：“陛下，這種謠言最是要不得，還請陛下下詔，傳播謠言者，斬。”
劉詢最猜忌的人便是霍光，若說別人擁戴程墨爲帝，劉詢絕對不相信，可若這個人是霍光，劉詢不得不信。他心裏正不自在，道：“卿的意思？”
丙吉道：“散播謠言者其心可誅，分明是離間陛下和北安王君臣之義，削陛下手足之情，動搖陛下的帝位。還請陛下下詔，誅此人。”
“霍大將軍……”劉詢欲言又止。
丙吉道：“陛下，就算霍大將軍要扶立新帝，也不會立北安王。北安王姓程，非劉氏子孫。”
一句話安了劉詢的心，太祖立國曆經七代，羣臣忠心耿耿，另立非劉氏子孫的人爲帝，朝臣能擁戴，百姓能歸心嗎？
劉詢道：“朕準卿所奏。”