事情很快又有了变化。明军不知道为什么竟然又向金塘岛进兵。并且和海盗们遭遇上了，发生了激烈的战斗，各有死伤。王直一直有派人侦查、留意这些海盗的动向。
等到接报赶到附近，岛西南海边的山林里喊杀已经成片。双方打得难解难分。明军竟然略逊一筹，被逼得节节后退。
解放军一时间也不知道该帮哪边好，好像都是“自己人”。王直也犯了难，自己带过来的人里，有少部分是刚投诚过来的海盗。只能在一旁静观其变。
不久，瞅着官军快不行了。又有一批援兵从北仑港，乘船过来。战事陷入僵局。可能是发现解放军也来到附近的缘故。打了一阵后，双方终于停手。互相退后，只守不攻。
海盗们据守山里，官军缩到海边。看来最关键的，还是解放军的态度。一个明军将官，在士兵们的簇拥下，垂头丧气地过来交涉。
王直迎上去一看，竟然是张四维。王直因为对他印象很不好，并不怎么想搭理他。张四维还是客气地说明了来意：宁波知府丁湛不仅集中了境内的兵员，而且还向总府杭州请调精兵。想再次联合解放军，剿灭舟山的海盗。这次事关重大，是宁波府通判唐时雍唐大人亲自带的队伍。没想到一上岛，就遇到海盗。希望解放军立即配合消灭。
王直想了想，说：“贵军兵强马壮，剿灭海盗，轻而易举。解放军就不插手了。”照王直的想法，这样已经够给面子了。起码解放军不会趁着双方大打出手时，得些渔翁之利。敌我难辨，解放军摆明中立的态度，也是变相的支持。
张四维没料到王直会拒绝得如此直接。涨红着脸，继续争辩道：“事有紧急，若不是如此，丁知府也不会将我从牢里接出，给我戴罪立功的机会。你若不肯合作，我焉有前途可言。要知道，正是你害我丢了官。”
王直说：“立功的机会就在眼前，张将军如果再想有个好前途，大可以靠自己上阵杀敌。到别人这里，讲些废话，岂不是浪费了时间。”
张四维说：“若不是为你所害，我与汤克宽早就随军返乡，与家人团聚，又怎会在这边受牢狱之苦。你必须给个交代，帮上这个忙。”
王直想不出什么好说法，便回答：“这些海盗既然上了金塘岛，就交给我们解放军全权负责。官军还是不要插手，先回去吧。”
张四维没好气地说：“你这么说，完全是袒护这些海盗，不肯与官军合作。小心罪名不轻。”
王直一听，阴上了脸。张四维见苗头不对，便自行走了。
过了会，官军果然开始撤退了。估计也担心继续攻击海盗的时候，解放军会从中作梗，甚至偷袭夹击。
解放军帮忙清理了下海盗与官兵战斗的现场，发现有不少海盗尸体的头颅已经被割去。王直心里很有些想法，考虑到与官军还是处于友好合作阶段，也不好发作。