金人在扶植张邦昌的同时，再次搜刮金银，即使妇女的钗钏之物也在掠取之列。开封府担心金银不够，金人无端挑衅，便在开封城四周设立市场，用粮食兑换金银。由于京城久被围困，粮食匮乏，百姓手中的金银也无所用，便纷纷拿出来换米。这样，开封府又得金银几万两。然而，开封城已被搜刮数次，金银已尽，根本无法凑齐金人索要的数目。金人只好作罢。
此时，金军统帅得知康王赵构在河北积极部署军队，欲断金人退路，又担心兵力不足，不能对中原广大地区实行有效统治，因而，在立了傀儡政权之后，准备撤军。在撤退时，金人还烧毁开封城郊的房屋无数。“东至柳子，西至西京，南至汉上，北至河朔”，在这样一个广大的地区，金兵“杀人如刈麻，臭闻数百里”。
四月一日，金军在掳掠了大量金银财宝后开始分两路撤退。一路由宗望监押，包括徽宗、郑皇后及亲王、皇孙、驸马、公主、妃嫔等，已于前三日沿滑州北去；另一路由宗翰监押，包括钦宗、朱皇后、太子、宗室及孙傅、张叔夜、秦桧等几个不肯屈服的官员，沿郑州北行。
被金人掳去的还有朝廷各种礼器、古董文物、图籍、宫人、内侍、倡优、工匠等等，被驱掳的百姓男女不下10万人，北宋王朝府库蓄积为之一空。金兵所到之处，生灵涂炭。
赵佶一行分乘八百六十余辆牛车，由彼此语言不通的胡人驾车，一路凄凄惶惶，受尽屈辱折磨。北宋靖康二年四月五日，赵佶见到韦贤妃（赵构母）等人乘马先行而去，竟不敢吱声，不觉五脏俱裂，潸然泪下。
四月七日，赵佶妃嫔曹才人如厕时，被金兵乘机奸污。
八日，抵达相州时，适逢大雨不断，车皆渗漏，宫女到金兵帐中避雨时又被金兵奸淫，死者甚多。赵佶长吁短叹，却无可奈何。北上途中食物匮乏，又连日风雨大作，宋俘饿殍满地，惨不忍睹。
赵桓出发时，被迫头戴毡笠，身穿青布衣，骑着黑马，由金人随押，一副失魂落魄的样子，不但受尽旅途风霜之苦，还备受金军的侮辱。赵桓时时仰天号泣，辄被呵止。日暮宿营时，金兵“絷帝及祁王、太子、内人手足并卧”，以防逃跑。四月十日，自巩县渡黄河，驾车的人对随行的同知枢密院事张叔夜说，将过界河，张叔夜悲愤难抑，仰天大呼，扼吭而死。
五月下旬，过太和岭时，赵桓等人都被缚在马背上。七月二十日，赵桓、赵佶在燕京相见，父子抱头痛哭，悲愤不已。赵桓此时原以为生活可以就此安定，不料九月，金人又将赵桓父子迁往更远的上京。因为南宋势力渐强，金人怕其夺回赵桓父子，使自己在同南宋的交涉中失去讨价还价的筹码。这样，赵桓父子不得不再次承受颠沛流离之苦。
南宋建炎二年，赵桓、赵佶二帝抵达上京，金人命他们身穿孝服，拜祭金太祖阿骨打庙，这被称为献俘仪，然后，又逼着他们父子到乾元殿拜见金太宗完颜晟。接着，金太宗封赵佶为昏德公，赵桓为重昏侯。此外，韦贤妃以下三百余人入洗衣院，赵桓的皇后朱氏不堪受辱，投水而死，男子则被编入兵籍。
不久，金人又将赵桓、赵佶二帝赶至荒凉偏僻的边陲小镇——五国城，他们从此就居住于此，直至去世。生活稍微安定后，赵佶又有了读书写诗的雅兴。赵佶喜好读书，有时竟到废寝忘食的地步。有一次，他读了唐代李泌的传记后，知道李泌为国尽忠，复兴社稷，后被奸佞嫉恨。赵佶读后感触颇深，并令大臣抄写一份，赐给韦贤妃。
在五国城期间，赵佶还与赵桓在宴会上饮酒赋诗，赵佶平生爱好写诗，再加上做囚徒的伤感，也流溢于诗词之中。被流放期间，赵佶写诗较多，其中《在北题壁》“彻夜西风撼破扉，萧条孤馆一灯微。家山回首三千里，目断天南无雁飞。”对随着一行人飘浮的二人感触最深。
赵佶在五国城生活了三年，南宋绍兴五年病死，死后尸体被金人烧做灯油。赵桓异常悲痛，身心受到沉重打击。赵佶死后，赵桓同其他宋俘仍囚禁在五国城。南宋绍兴十一年二月，金熙宗完颜亶为改善与南宋的关系，将死去的赵佶追封为天水郡王，将活着的赵桓封为天水郡公。金国在为赵桓授新封号的同时，在金上京赐给赵桓一处上等房舍，后来将赵桓及身边的妃嫔、子女一同迁到了金首都上京城居住。
南宋绍兴十二年三月，宋金关系有所缓和，韦贤妃连同装有宋徽宗、郑皇后、邢后梓官的十余辆牛车踏上了回归南宋之路。她离开时，赵桓挽住她的车轮，请她转告宋高宗赵构，自己若能回归南宋，当一太乙宫主足矣。此时，赵桓还没迁到了金首都上京城居住。
南宋绍兴二十三年，海陵王完颜亮迁都于燕京，也将宋钦宗赵桓迁往了燕京。一是便于监督看管，二是随时利用宋钦宗向南宋施加压力，三是仍想按金太祖完颜阿骨打第四子完颜宗弼（金兀术）死时所献之策，争取将宋钦宗立为傀儡皇帝，帮助金国统治淮河以北宋朝半壁江山。
南宋绍兴二十六年六月，金海陵王完颜亮命五十七岁的赵桓出赛马球，赵桓身体孱弱，患有严重的风疾，又不善马术，很快从马上摔下，被乱马铁蹄践踏死……
