公元1129年說起，就是在這一年，金左副元帥宗維攻陷徐州，驅軍南下，扼守在淮陽的韓世忠軍一觸即潰，敗走鹽城，金兵長驅直進，一路殺到揚州附近的天長軍。以往金軍入侵之時都是靠著韓世忠和岳飛等一批名將的竭力抗擊，宋朝皇室才方保無憂。但這次連韓世忠的軍隊都在金兵的沖擊下失敗，自然使得宋朝皇室失去了賴以依存的屏障。韓世忠的這次失敗使宋高宗驚恐萬分，逃跑得比以往任何一次都狼狽。由于受到過度的驚嚇，宋高宗趙構在這次事件之后就失去了生育能力，而他唯一的兒子也在苗劉之變后死去，加上太宗系的后人，在靖康之變后基本被金國一網打盡，因此從太宗的后代之中幾乎找不出可以繼承自己皇位的合適人選。為了不至于使自己在百年之后皇位落于外姓人氏之手，宋高宗被迫在宋太宗的哥哥宋太祖的后代中尋找可以繼承自己皇位的人選。

與宋太宗的后代不同，當時宋太祖的后代有上千人之多，宋高宗想在這一千多人之中選出合適的人選亦并非易事。經過一番仔細的搜尋，宋高宗終于找到了一胖一瘦兩個小孩。在兩個太子人選當中，趙睿便是其中一位偏瘦的小孩。剛開始，宋高宗對趙睿并沒有太大的好感，而是中意胖點的小孩。按理說趙睿繼承皇位的機會應當也就到此畫上了句號，但是也許冥冥之中自有天意，正在他放棄做皇帝的夢想之時，發生了一件微小的事情，進而使整個局面發生了巨大的變動。事情的經過是這樣的：有一次，宋高宗將趙睿和胖小孩叫到一起，恰巧此時闖進了一只貓，趙睿正全神貫注地聽宋高宗講話，貓闖進來后連眼睛都沒有眨一下;而胖小孩卻不同，貓闖進來后他顯得很驚慌，再也無心聽宋高宗講話，連忙伸腳去踢貓，動作極其粗魯。

胖小孩這一粗魯的舉動徹底葬送了高宗原本對他僅存的一絲好感，最終，高宗打發走了胖小孩，將趙睿留在宮中。按理說，趙睿被留在宮中之后，皇位繼承人非他莫屬了，但是他在宮中待了將近有20年，卻沒有被確立為太子，這讓人匪夷所思。

最終，他想出了一個既可以不使韋太后生氣，又可以考驗趙睿和趙琢的萬全之策：給他們兩人分別送去十名絕色處女，待半個月之后再將這些絕色佳麗召回來認真查驗，誰破處最少，誰將是皇位的最佳人選。宋高宗想出的這個招數很管用，效果也很明顯。送給趙睿的十個佳麗被召回來之后完好如初，而送給趙琢的十個佳麗卻全部都不再是處女。最終，趙睿通過了宋高宗的考驗，順利地被立為太子，直至登上皇帝的寶座。

后人評價趙構，說他一生行事，唯選太子最稱公允。能上慰天地，下慰祖宗，僅此而已。然而，一則有宋太祖的先例，二來自己沒有兒子，所以選立孝宗，也實在是出于無奈罷了。