在宋高宗退位后，繼承皇位的是宋高宗的養子趙昚，而為什么繼位的是養子而非宋高宗的親生兒子？其中的原因是宋高宗陽痿，失去了生育能力的宋高宗無法留下任何子嗣，所以最后從趙氏宗親中挑選中趙昚繼位。

根據史書上的記載，關于宋高宗陽痿的事情主要是這樣的：建炎三年的二月份，金朝的宗翰突然出兵襲擊揚州，并且攻陷了天長地區，這個時候金軍的前鋒距離揚州只有幾十里。之后有一天深夜時分，宋高宗正在和一個宮女尋歡作樂，突然聽到宮外“金兵渡江了”的呼喊聲，立馬慌慌張張地帶著少量的隨從騎馬逃出城，一路飛快行進，行至瓜洲坐船渡江逃走。而就是這次突然而來的驚嚇，使得宋高宗得了非常嚴重的陽痿，從此沒有了生育能力。

有人認為宋高宗的陽痿使得他出現了心理問題。原先的趙構武藝高強，騎射技藝極佳，并且還主張對抗金國，然而在之后卻從主戰派變成了懦弱地對金國卑躬屈膝，一味求和，所以有人認為原因是他在后期患上了陽痿的病。

同時還有人認為宋高宗在退位后的二十幾年晚年生活中，還非常熱衷于與宮女尋歡作樂，不斷寵幸宮女，納取妙齡女子為妃，其中的原因也是因為他失去性能力后心理發生了扭曲。

總的來說，宋高宗的陽痿給宋高宗帶來的影響非常大，不僅使他的心理發生了變化，同時也使他沒有子嗣能夠繼承他的皇位。

宋高宗的兒子

宋高宗在還沒有失去生育能力之前曾有一個兒子，名叫趙旉。趙旉是宋高宗的兒子，而且還是唯一一個，因為在后期宋高宗因為受到驚嚇而失去了生育能力，所以唯一的兒子頗受宋高宗的疼愛。他的母親則是宋高宗的妃子潘賢妃。

趙旉與建炎元年六月出生在南京，一出生就被宋高宗封為檢校少保與集慶軍節度使，受封魏國公爵位。建炎三年，因為金兵南侵，宋高宗趙構從南京逃往臨安府，野心勃勃的苗傅、劉正彥兩人趁此機會發動叛亂，強行逼迫宋高宗退位，做太上皇，歷史上稱這場叛亂為苗劉兵變。之后隆祐太后為了穩定朝中局勢，出面下旨讓趙旉繼承皇位，并改年號為明受，而她垂簾聽政。后來，一番周折后，苗傅等亂臣最終被當時的宰相張浚殺死，引發的叛亂也被平息。之后，趙旉退位，隆祐太后不再垂簾聽政。趙旉在位時間極短，總共在位二十六天。

平息叛亂后，趙旉也離開揚州，返回臨安，然而在途中發了高燒。高燒期間，一個宮女走路時不小心，絆倒了放置在地上的爐子，發出了很大的聲響，使趙旉受到了驚嚇而死，當時趙旉還相當年幼，去世時年僅三歲。趙旉死后，宋高宗與潘賢妃非常傷心，整整哭了三天，處死了照顧不力的宮女和保姆，趙旉還被宋高宗追封為元懿太子。

之后因為宋高宗失去了生育能力，沒有子嗣，最后將趙昚認作養子，將他立為太子，由他繼承皇位。

宋高宗母親

宋高宗的母親是顯仁皇后韋氏，是宋徽宗趙佶的嬪妃，開封人士。韋氏原來是鄭皇后宮中的一名普通宮女，曾與另一名宮女喬氏交好并皆為姐妹，相約一人富貴時不能忘記另外一人。后喬氏得到宋徽宗寵幸被封為貴妃，韋氏得到喬氏的推薦而受到宋徽宗趙佶的臨信。

雖然韋氏先后升為平昌郡君、婕妤、婉容，但是她并不受宋徽宗寵愛，她的兒子趙構也不得宋徽宗的喜愛，直到金朝向宋朝要求宋徽宗的兒子到金做質子時，趙構自愿前往，韋氏才得以被宋徽宗封為龍德宮賢妃。

在世人口中有個關于宋高宗的母親韋氏的傳聞，傳聞韋氏在被金兵抓為俘虜之后，曾被金兵當作戰利品押送到北方，送入洗衣院，相當于妓院的地方，被金人當作了慰安婦，甚至還被迫嫁給了蓋天大王為妾，給宋高宗趙構生了兩個異父的兄弟。在趙構建立南宋的時候，金人還曾編寫了關于韋氏的“穢書”傳播于中原街市，為的就是借此侮辱趙構。

據說，宋高宗之所以殺岳飛，其中也有他母親韋氏的原因。根據史書記載，公元1141年，當時宋高宗的母親韋氏被扣押在金國做俘虜。有人認為當時金國派人來宋朝議和的時候，宋高宗提出了讓金國放了他的母親的議和條件，而金國也一定提出了相應條件，那個條件就是殺了岳飛，就放了他的母親韋氏。并且歷史事實就是宋高宗在與金國議和一年后，殺了岳飛。