他原本只是想着跟主角有个眼缘就行了，没想到却应下了养他的差事。起先他还是把杨过当做他记忆中的人物，以为就是个画中人，可一起生活过一段时间后，他渐渐意识到他是一个活生生的人，就在自己面前，摸得着看得见，有自己的喜怒哀乐，知道谁对他好，整天喊他大哥，自那之后他才真正把杨过当成了弟弟。
杨过又道“自那之后，我就发誓一定要练好武功，以后只准我们欺负别人，不准别人欺负我们！”
“好了，你们已经找到我了，如果想拜我娘的坟墓的话，可以去嘉兴的铁枪庙里，你们走吧！”
李无忧看着黄蓉夫妇的脸，在杨过提到铁枪庙的时候变了脸色，不过很快就恢复正常了，向他这边探询地看来。李无忧点点头又指着杨过摇摇头，表示自己知道但他不知道，二人看到后很快就明白了，意味深长地看了李无忧一眼。
郭靖在明白之后也放下心来，听到杨过要他们走，连忙出声要杨过跟着他们一起去桃花岛，黄蓉也在一旁帮腔，但杨过就是坚决不肯，柯镇恶也要反对，但是被黄蓉赶忙叫停了，冷哼一声也作罢了，倒是看得杨过有些不明所以，看说服不了杨过，郭靖赶忙向李无忧投来求助的眼神，李无忧本想装作看不见，但是这小眼神，有点遭不住啊！微微点了点头。
咳！“老二！你跟我出来一趟！”留下屋里的众人，气氛突然就冷了一下，不过刚才也聊也那么久很快就又热闹了起来，几个女人把话说开后更是熟络，加上有黄蓉从中调和，聊得比男人还好。至于几个孩子则是完全不敢出声，好好在一旁听故事吃菜就好了！郭芙还想去偷听，被黄蓉发现呵斥了回去。
“大哥你也是来劝我跟他们走的吗？你不要我了吗？”找个角落停下后，杨过就哭着对李无忧道。不是，你又不是女孩，哭着说出这种话，别人还以为我把你怎么地了呢？李无忧赶忙出声。
“哎哎哎！不是的，你先别哭了，把鼻涕收回去”
“嗯！哼哧，哧溜！”
唉！李无忧摸着杨过的头，宽慰地道“行啦，早就不是小孩了！你听我说！”
“郭大侠他们是前辈高人，武功高强，重情重义还是你父亲的义兄，跟你母亲也很熟络，他们是不会害你的。”
“你在郭大侠那里比跟着我好多了，还能学好武功，这样你将来才能保护好自己！保护好自己在意的人”
“可我也可以跟你学啊！你教我的剑术什么的都很厉害啊！”
“多学一门又不是什么坏事，你要真想帮大哥的话就多学几门武功变强，到时候我有敌人了你就帮我打回去！”
“可是我……”
“行啦！你知道我是不可能跟着你去的，我跟他们又不算熟，再说了我还有莫愁呢，总不能陪着你这个男的吧！”
额，，，有被打击到。李无忧都这样说了，杨过也只好听从了，暗自下定决心一定要多学点武功。在屋里聊天的郭靖突然感到后背有点发凉，许是喝多了吧！
“好！”见杨过终于同意，李无忧也松了一口气，眼中神光一闪，我的计划可就靠你了。
随后俩人便回去了，一开门郭靖就站起来了，“过儿！”
杨过缓步来到郭靖身边“郭伯伯，我跟你们去桃花岛！”
“好！”郭靖听到杨过同意后兴奋之色溢于言表，黄蓉也是把杨过拉到一旁高兴的跟杨过说着话，一旁了解到事情经过的几人也是非常开心。想到自己抱得美人归，李无忧也是相当开心，见到现在大家也都熟悉了，站起来从厨房又搬了一坛酒，“今天大家不醉不归！”
“好！”“好耶！”
“小孩只能喝酸梅汤！”
“啊！”
“哈哈哈…”
第二天早上，望着已经远去的大船，李无忧久久不语，一旁的李莫愁见他这样，没好气地说道“既然都来了，为什么不去跟他打招呼！怕舍不得？”
“唉！我们走吧！”接着转身就走，李莫愁见状也只能叹了一口气，这两兄弟！“哎，你等等我！”连忙跟上李无忧。
船上，郭芙来到船尾，就看到杨过在那里呆呆地站着，一直望着来时的方向。
