宋高宗在收復國地上動腦筋不多，在確定接班人時卻費盡了心機，關鍵時刻竟用處女“選”太子，在歷史上製造了一段不絕於口的閒話，同時也留下了一個不大不的謎團。
原來，宋高宗後宮嬪妃不少，於史留名的就有兩位皇后、兩位貴妃、兩位賢妃、一名婉儀，被他寵幸過但沒有名位的女人就不知有多少了。然而爲他生出兒子的只有憲聖皇后吳氏、張賢妃和潘賢妃三人。而其中只有潘賢妃生下的兒子成活，取名趙。建炎三年112二月，高宗到了揚州，一天晚上正興致勃勃同宮女淫樂，突然報告金兵襲來，他受了很大驚嚇，患了鎖精症，從此失去生育能力。一個月後，宋高宗到了杭州，扈從統制官苗傅、劉正彥發動兵變，逼迫宋高宗退位，立不到3歲的魏國公趙勇爲帝，並請隆太后垂簾聽政。一個月後，韓世忠殺苗、劉二人，高宗復位。建炎三年四月壬申日，冊立趙爲太子。在這場動亂中，趙被嚇出病來，延至七月，病情愈重，醫治無效，短命而亡。
太子夭折，皇儲乏人，大臣們議論紛紛。有不識時務者開始上疏，要皇帝儘快在宗室後裔中挑選儲君，倘若皇帝日後生出兒子，到時再重新冊立太子。按這是關心國脈大事，照此實行可安人心。然而宋高宗以爲這是心懷二志，並藉此事羞辱自己，再眼前戰事緊張，哪有時間選立太子爲了平息大臣議論，便將上疏者撤職查辦。大家果然緘口藏舌，不再議論立儲之事。
宋高宗和后妃們生不出兒子，戰局也慢慢穩定下來，立儲之事遂又重提。這時，輾轉在江西的憲聖皇后也平安返回臨安，她曾經做了一個怪夢，不解何意，祕密向高宗了，高宗悟出是選嗣之事。恰在這時，大臣範宗尹也提出了這事，高宗答道“太祖皇帝以神勇之武定了天下，可是他的子孫沒有享受承繼之福，現在遭遇世亂艱難，他的後代更是飄零可憐，我若不效法仁宗皇帝，爲天下着想，怎能告慰太祖在天之靈”
衆所周知，宋太祖臨終前，遵從太后之意，把皇位傳給了弟弟，他自己的後代沒有繼承大統。至仁宗時，沒有兒子，便挑選4歲的侄子趙宗實爲太子，這就是後來的宋英宗。現在的高宗趙構也沒有兒子，便想效法宋仁宗的做法，在太祖的後人中選立太子。一方面顯示自己有堯舜之風，一方面也可安定人心。其實，還有一個重要原因，宋太宗一支的嫡系子孫全都被擄北上，皇太子不得不在太祖後裔中選立。果然，副宰相張守、負責軍事防務的長官李回、禁衛官婁寅亮等人紛紛上疏支持或稱讚皇帝的這一英明做法。宋高宗遂借坡下驢地“此事不難行，朕於伯字行中選擇，庶幾昭穆順序。”決定在太祖後人中選立皇子。
按照趙宗室玉牒，趙構系宋太祖六世孫，“伯”字輩爲七世孫，排列起來是子侄關係，立爲皇太子名正言順。經過多人尋訪，查明太祖皇帝七世孫共1645人。在這些人中，又挑選出歲以下幼童10人，經反覆審看，相中了一胖一瘦的兩個男孩。宋高宗把他們兩個叫到一起，再仔細端詳一遍。他看胖的那個孩子結實，個頭兒也高，決定“留胖去瘦”。然後賜給瘦孩子300兩白銀，想打發他回家。就在這時，一隻白貓從兩個孩子中間穿過，胖孩子飛起一腳，踢翻了這隻白貓。高宗看了大爲不滿，他想，此子如此輕狂，如何擔當社稷重任當即改變決定，留瘦去胖。紹興二年1132五月，高宗皇帝育太祖朝奉大夫趙子之子伯琮於宮中，賜名瑗。追溯起來，伯琮是太祖次子秦王趙德芳的後代。
宋高宗的這些想法確有道理。可是，朝野醫方用盡，他還是生不出兒子。紹興四年，吳才人覺得寂寞無聊，也想撫育一個孩子。高宗把秉義郎趙子彥的男孩找來，時年歲，名爲伯玖，長相可愛；聰慧穎異，吳才人一看就很喜歡，留在身邊精心養育。宋高宗將其改名爲趙璩，這樣，事實上有了兩個儲君侯選人。他們自身尚不明白悄然開始的競爭，但大臣們在密切注意着立儲大事。比如，大將張浚專門上表，請求高宗儘快確定皇太子。然而高宗心中有數，對於這種請求，一概置之不理。
紹興五年五月，大臣趙鼎建議應在宮中建立書院，對這兩名男孩加強培養。宋高宗爲此修建了“資善堂”，聘請徽猷閣待制範沖和起居郎朱震爲宮廷教師。兩個孩子的學習都很認真，接受了系統正規的良好教育。紹興十年1140，岳飛奉詔班師後，提出“正國以安人心”的建議，趙鼎也提出議立皇子一事，均遭宋高宗訓斥。兩年後，15歲的趙瑗加檢校少保，封普安郡王，按照慣例，他出宮住進王府。而這時的趙璩，獨居禁中，封吳國公。三年後，趙璩晉封爲思平郡王，同樣搬進自己的府第，時人稱爲東、西二府。
宋高宗對於選立皇子之事不是沒有考慮，然而他還必須考慮這樣兩個重要因素一是撫育趙璩的吳才人已被冊立爲皇后，秦檜因與趙瑗關係不好，遂藉機一打一拉，製造吳皇后欲立趙璩爲太子的謠言。許多大臣看秦檜臉色行事，弄得“中外議頗籍籍”。高宗左顧右盼，難下立儲決心。二是高宗母親韋太后從金國回來後，因與趙璩接觸較多，對其很有好感，日常言行不免偏向趙璩。高宗是個孝子，不能不考慮母親的這種態度。此事就這樣不痛不癢地拖了下來。
紹興二十五年1155十月，奸相秦檜病死；二十九年115九月，韋太后崩於慈寧宮。立儲的所謂兩大障礙已不復存在，大臣們又一次提出確定皇子的問題。高宗覺得再往下拖延實在難塞衆口，遂把這事提上了朝廷議事日程。然而，趙瑗和趙璩兩個究竟立誰，宋高宗再一次猶豫起來。這天，他獨處宮中，看到一個個如花似玉的宮女，一個妙計涌上心頭。遂悄悄召來內府總管，要其挑選未被臨幸的20名宮女，東府、西府各賜10人，他要看看趙瑗、趙璩在女色面前的態度，據此決定取捨。過一段時間，宋高宗傳命將這些宮女召回，讓女官逐個對其檢驗。結果，賜給趙瑗的宮女完璧如初，而賜給趙璩的宮女全被奸過。宋高宗對此祕而不宣，但他明白了孰優孰劣，女色可以亂性，女色可以致禍，高宗利用這一傳統辦法，識別出哪個是正人君子，誰又是好色之徒。爭論了近30年的立儲君問題，靠了10名處女，就這樣一錘定音了。紹興三十年二月二十二日，朝廷舉行了隆重的皇子冊封儀式，宋高宗親筆御書“瑗可立爲皇子，改名瑋。”趙璩仍爲皇侄，一個月後，他被封爲開府儀同三司，判大宗正事，垂頭喪氣地離開臨安，住進紹興王府。皇子與他擦肩而過，他至死也不會明白自己失算在哪裏。據史書記載，立皇子的制書頒佈後，大臣們“動色相慶”，“中外歡悅”，明宋高宗的這個決定英明正確，很得人心。趙瑗向皇太子之位邁出了關鍵的一步，成了惟一的皇位繼承人。