然而，李义府并不甘心就此沉沦。他一直在暗中积蓄力量，寻找机会重返朝堂。他深知，只有重新得到皇帝的宠信，他才能东山再起。只是，这样的机会也不知什么时候能够到来。
不过，李治似乎看穿了李义府，立刻便任命许敬宗为中书令，同时让大理寺的卿士辛茂将兼任侍中的职位，好叫李义府断了念想。
这时，跟随崔俊去了金山的尉迟宝琪，却悄悄带着他在金山生下的一双儿女，回到了大唐。尉迟宝琪在金山可没闲着，先找了个倭国美女，生了个女儿。
后来，又从崔俊从大食国带回的女奴中挑了个喜欢的，又给生了个儿子。这下可好，一帮子从大唐来到新罗的兄弟们中，就他先来了个儿女双全。
只是，这回崔俊不知怎滴就催他赶快带上儿女，回大唐去看看他老爹尉迟敬德。尉迟宝琪虽是不愿意回去，但是崔俊发了话，他可不敢不听。
尉迟敬德一见小儿子突然带着两个小娃娃回来，顿时乐得眉开眼笑。他可不管这两个小崽子是尉迟宝琪和谁生的，只要是他尉迟家的种就行。
但是，尉迟敬德毕竟年岁大了，没开心几天，就病倒了。而且这病也奇怪，御医看了几次都没办法完全断了病根。
尉迟宝琪便劝说其父随他去金山，还说孙思邈在金山药物研究所内，有他在，一定能看好这怪病。
哪知尉迟敬德十分干脆地拒绝了这个建议，就连程咬金来劝都没卵用。尉迟敬德只说自己跟随的秦王在昭陵等他，他用不了多久就能与几位老兄弟见面了。
到了年底，开府仪同三司，鄂忠武公尉迟敬德去世了。
尉迟敬德在晚年选择了隐居生活，他一心学习旨在延长寿命的技巧和方法，按照风水先生的指点，对自己的住所进行了美化和装饰，修建了池塘和亭台，还演奏清商乐来调养自己的身心。
他不与外界宾客交往，就这样独自生活了十六年。尉迟敬德走的时候，享年七十有四。
在他去世后，朝廷给予他非常丰厚的礼遇和尊重。以国公礼待之，并陪葬昭陵一侧，紧挨着秦叔宝的坟墓。
紧接着，身在爱州的刺史褚遂良也去世了。但是，他可没有尉迟敬德的待遇，李治只让人将之厚葬，便算是揭过了。
李治的这一做法，自然又引得众人议论纷纷，为褚遂良感到惋惜者甚多。
尉迟宝琪与尉迟宝琳两兄弟为尉迟敬德守孝，每每无聊之时，尉迟宝琳都会让尉迟宝琪讲讲金山的趣闻。
而且，还常常神神叨叨地说崔俊已经不是凡人了，这次若不是崔俊逼着他回来，他是铁定不能为自己老爹尽孝的。
对于自己兄弟口说之事，尉迟宝琳全都信，只求这自己弟弟留下去金山的法子，等有机会，自己也得去金山，这李治手里的劳什子大唐，他可待不下去。
不知不觉地，三月时间便就过去，春暖花开之时，尉迟宝琪带着自己的一双儿女，离开长安，直奔吴地而去。
他得搭乘往来琉球的商船去往琉球，再在琉球换乘去往金山的海船。在尉迟宝琪的眼里，现在的大唐，极其落后，除了他的大哥尉迟宝琳之外，根本没有什么可以留恋的。
