众所周知，南宋宋高宗赵构无后（宋高宗亲生儿子只有一个，名字叫赵旉，母亲是赵构在康王府时服侍他的旧人潘贤妃。赵旉作为赵构第一个儿子，也是唯一的一个儿子，他排名老六，前面有五个姐姐，我们完全可以想象这个孩子出生的时候，赵构有多么的高兴。赵构将其封为元懿太子，元，《说文解字》中记：“元者，善之长也，故从一。”懿，意指美好，《说文解字》：“专久而美也。从壹，从恣省声。”，《康熙字典》释意美德。光从“元懿”两个字，就可以看出赵构对自己这个儿子的美好祝愿以及殷切的期盼，不过可惜的是元懿太子最终只活了三岁，便早夭而亡。他父亲的祝福与企盼，并没有将这个孩子留在人世。自此之后，元懿太子后来被追尊为宋简宗、正安帝。自此以后，赵构再无子嗣可以继承他的皇位。）
所以，他必须从宗族子弟中选取继承人来继承他的皇位。
据史书记载，当时大臣李回进谏说：“太祖不把皇位传给自己的儿子，而是传给了弟弟太宗，是因为兄弟二人手足情深，陛下如今要立嗣，不妨效法太祖。”
还有的大臣直接指出，太祖赵匡胤的后代如今默默无闻，如同凡夫俗子一样，于情于理都是说不过去的，为了大宋江山的千秋大业，应该从太祖一支中选嗣。
高宗赵构见没有别的办法，同时为了博得一个好的名声，便接受了群臣的建议，与宋太宗的后代不同，当时宋太祖的后代有上千人之多，宋高宗想在这一千多人之中选出合适的人选亦并非易事，经过一番仔细的搜寻，在太祖赵匡胤的后裔中选嗣，于是就按着辈分的大小，在“伯”字辈的皇族中挑选了七岁以下的男童十人，再经仔细查看后，最后留下了一胖一瘦两个小孩，胖的是伯玖，瘦的是伯琮。
刚开始，宋高宗对赵眘并没有太大的好感，而是中意胖点的小孩，按理说赵眘继承皇位的机会应当也就到此画上了句号，但是也许冥冥之中自有天意，正在他放弃做皇帝的梦想之时，发生了一件微小的事情，进而使整个局面发生了巨大的变动。
事情的经过是这样的：有一次，宋高宗将赵眘和胖小孩叫到一起，恰巧此时闯进了一只猫，赵眘正全神贯注地听宋高宗讲话，猫闯进来后连眼睛都没有眨一下;而胖小孩却不同，猫闯进来后他显得很惊慌，再也无心听宋高宗讲话，连忙伸脚去踢猫，动作极其粗鲁，胖小孩这一粗鲁的举动彻底葬送了高宗原本对他仅存的一丝好感，赵构看了很不高兴，说：“如此轻狂，怎能担当社稷重任!”
于是便留下了伯琮，将他以候选人的身份养育在宫中。
伯琮于建炎元年(1127年)生于秀州(今浙江嘉兴)，他的大世祖是太祖赵匡胤的第四个儿子八贤王赵德芳，伯琮入宫后，天资聪颖，博闻强记，异于常人，很受赵构的喜欢，受到后宫的重点培养，高宗派人以行宫新建书院为资善堂，作为伯琮读书的地方，并派学士富才赡作为赞读，伯琮也很争气，尊师重教，勤奋好学，随着年龄的增长，很快便成长起来。
按理说，伯琮被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。
究其原因，主要有两个方面：其一是赵眘非宋高宗亲生，宋高宗始终对他怀有成见，他希望多给自己留些时间，渴望出现自己能生育的奇迹;其二是宋高宗的母亲韦太后不喜欢赵眘，而喜欢另一个养育在宫中的赵琢，她一直劝高宗立赵琢为太子，，而深受赵构重用的秦桧则主张立伯玖为太子，因为伯琮对秦桧充满敌意，坚决主张抗击金国。，这使宋高宗在立太子的问题上一直摇摆不定，不知如何取舍。
最终，他想出了一个既可以不使韦太后生气，又可以考验赵眘和赵琢的万全之策：给他们两人分别送去10名绝色处女，待半个月之后再将这些绝色佳丽召回来认真查验，谁破处最少，谁将是皇位的最佳人选。
宋高宗想出的这个招数很管用，效果也很明显，送给赵眘的十个佳丽被召回来之后完好如初，而送给赵琢的十个佳丽却全部都不再是处女，最终，赵眘通过了宋高宗的考验，顺利地被立为太子，直至登上皇帝的宝座。
在封建社会，皇子皇孙地位尊贵，有个三妻四妾本是极为平常的事，贪婪女色、流连宫帏也不是什么大不了的事情，宋高宗何以竟用这种方法来确定太子人选呢?原因有二：
一是北宋以来，理学兴盛，以朱熹为代表的理学家提出“存天理，灭人欲”的理学观念，要求士大夫克己守礼，非礼勿听，非礼勿视，非礼勿动，禁欲主义成为伦理纲常的基本要求，朝廷上也要求皇族大臣清心寡欲、修身养性，从而形成了一种道德评判，所以伯琮的不近女色就成为道德高尚、品质端正的代表，受到高宗的钟爱。
二是高宗本来就喜欢伯琮，伯琮对高宗赵构非常有礼，孝敬有加，对高宗的教诲言听计从，时时流露出对高宗知遇的感激之情，而且伯琮对时局形势的分析，外交国策的建议每每让高宗深以为是，还曾帮助他识破