北海郡那边也有数万人口，如何把这些人口都要回来。这才是他遇到的首要问题，至于攻打高士达和窦建德，他现在还没有心思考虑。
但王世充也知道，人口和粮食是这些年最重要的两大资源，裴仁基和张铉未必肯答应。裴仁基那边自己可以通过圣上施压的方式逼他让步，但张铉这里却不好办，张铉这个人虽然年轻，却极为精明，要想从他那里捞回人口，不能不下一点血本。
这时，有士兵飞奔来报：“启禀通守，长史回来了。”
他的大哥从北海郡回来了，王世充精神一振，连忙道：“快带他来见我！”
片刻，身材肥胖的王世恽被带上城墙，王世充急忙问道：“情况怎么样？有收获吗？”
王世恽累得气喘吁吁，也摆摆手，一句话也说不出来，过了好一会儿，他才对王世充道：”我先去了历城，但裴仁基根本就不见我，他的手下说他去鲁郡了，要几天后才回来，没办法，我只好又去北海郡，见到了张铉。”
“他怎么说？”王世充担心地问道。
“他倒是很客气，而且很爽快地答应，愿意协助将军遣返清河郡难民。”
王世充呆了一下，“那他要什么条件？”
“问题就在这里，他什么条件都没有提，我也觉得他诚意不够，因为之前我和司马刘凌谈了一下，他说民心安定，最好不要再折腾，我想这也是张铉的态度，他或许只是在敷衍我们。”
王世充心中也疑惑起来，如果张铉有条件他倒能理解，如果一点条件都没有，确实让人生疑，想了想他又问道：“那张铉答应什么时候遣返？”
“他具体时间没说，只是说尽快。”
王世充一阵头大，这个‘尽快’的意思，恐怕两三年后都不会有动静，他已经明白张铉的意思了，裴矩是明着拒绝，而张铉是婉拒，答应得好听，却用拖的办法使事情不了了之。
可他不去争取又不行，王世充万般无奈，只得又对兄长王世恽道：“你再去一趟北海郡，你告诉张铉，遣返一个人，我给他一石粮食，绝不食言。”
..........
当王世恽又一次来到北海郡时，接待他的却是长史韦云起，韦云起告诉他，他来晚了一步，张将军去巡视高密郡的防务去了，要几天后方回，并答应王世恽，将军回来后一定会给他们写信云云。
王世恽扑了个空，只得无精打采地返回了清河郡。
张铉确实是去巡视高密郡了，高密郡原本是贾务本的防御驻地，去年张铉拿下清河郡后，张须陀便调贾务本去守卫清河郡，而把高密郡的防御一并交给了张铉。其实就是用高密郡来交换清河郡。
但计划不如变化，张须陀被调回了京城，杨广又任命王世充为清河通守，贾务本只能率军返回齐郡。
这时已经被任命齐郡通守的裴仁基将费青奴从鲁郡调回，任命秦琼为鲁郡军史，又任命贾务本为济北郡军史。接替尤俊达，实际上就剥夺了费青奴的军权。