宋右师华元得知他们不愿回来后，便亲自来劝说左师鱼石五人回国，但也只是口头答应他们，并没想过和左师鱼石五人签订盟约。毕竟桓氏一族势大人众，如果签订盟约就没办法再去削弱桓氏的势力。因此宋右师华元便想着能劝说回国更好不过，没有盟约不愿回来的也不强求。宋右师华元眼看劝说不动左师鱼石五人，便调转马头开始狂奔回宋国。
宋左师鱼石察觉到右师华元的异样，从右师华元的话中和其表情看来，宋右师华元有意借此削弱桓氏一族，如果不听右师华元之言回国，将会驱逐各位大夫家族，重新任用其他士族之人。想到这里左师鱼石便对众大夫说到，右师华元想重新任用他人为宋国卿士，如果你我不回国，宋国便将不再接纳我们。
众人听后登上山头，看到右师华元的马车，已经淹没在滚滚尘土中。左师鱼石五人便驾车追赶右师华元。
等到宋国边城后，果然如左师鱼石所言。宋右师华元已经登上城楼，并关掉城门，设置城防，禁止所有人入城。
宋左师鱼石五人在城下，知道大势已去，便一起逃亡到楚国。
公元前573年，郑、楚以送宋左师鱼石五人回国为由，发兵进攻攻宋，先攻入了朝郏（jia）城（今河南夏邑县），后攻取彭城（今江苏徐州）。在郑、楚攻下彭城后，便交给了宋国原大夫鱼石、向为人、鳞朱、向带、鱼府五人。楚、郑两国想把彭城构造成，牵制和威胁宋国的一座城池，便派遣三百辆战车守卫彭城。
彭城的沦陷对于宋国来说，无疑是致命打击，在郑、楚两军退兵后，宋国便发兵进攻彭城。彭城被攻后，楚国出兵救援，宋右师华元也向晋国求援。
晋、楚两军相遇于靡角之谷（今江苏徐州附近），这次诸侯联军众多，使得楚军不战自退。
晋、宋、鲁、齐等诸侯围困彭城。公元前572年，守卫彭城的原宋国的五位大夫向晋国投降。而之所以向晋国投降，是因为晋国诸侯霸主的地位，能够保护五人的人身安全，晋国为了保护鱼石五人的安全，将五人安置在瓠丘，即壶丘，（今山西垣曲县）。
宋国桓氏一族，宋司马荡泽弑杀太子肥时，并没有引起宋国的内乱，其原因就是桓氏一族在宋国的势力，而唯一能讨伐司马荡泽的只有右师华元。在左师鱼石追回右师华元时起，宋右师华元便有了削弱桓氏一族的谋划，并且十分顺利的削弱了桓氏一族，而这一切都得益于右师华元在宋国的威望，和以前对宋国的功劳。
