太元二年十月，谢安以身体有恙为由，向朝廷请辞扬州刺史一职。
收到奏疏的司马曜当即表示不同意，委派医官上门为其诊治，并派内侍到谢府赐钱赐药。
谢安没有接受，再次上书求退。
司马曜不傻，谢安在这个时候提出要走，明显和王凝之不是一路人，所以他一边后悔自己当初的没眼力劲，一边下诏挽留。
不过谢安去意已决，封存了刺史府，回乌衣巷的老宅暂住，开始收拾行囊，准备返回会稽东山。
刘牢之差人盯着谢府，每日向王凝之汇报有什么人出入。
以谢安的声望地位，上门探病的人络绎不绝，但大多数被拒之门外，只有陆纳、王蕴和车胤等少数人得以入府。
刘牢之补充道：“不过交谈的时间都不长，最久的是陆纳，也就待了一个时辰。”
“无妨，这些人都是在为未来担心，”王凝之说道：“宫中情况如何？”
刘牢之不屑道：“听说陛下十分忧虑，又大醉了几场。”
王凝之笑着摇摇头，“他要是像先帝那样，选择信任谢安石等人，我也没这么容易就进入建康。”
司马曜把谢安的好说话当成自己的机会，实在是太高估自己了，谢安就算放权，也轮不到他来，王凝之早已等候多时。
刘牢之笑道：“他估计现在是既后悔，又害怕。”
“他就是个替人受过的，”王凝之叹道：“局面发展到今日，早已是积重难返，不是他走对哪一步就能解决的。”
历史上司马曜从谢家手里拿回权力，重振皇权，反而因为内斗频繁，加速了东晋的灭亡。
王庾桓谢四家轮番执政，虽然世家人才凋零，也在走下坡路，但还是比压根镇不住场子的司马曜和司马道子强太多了。
送走刘牢之，王凝之来到乌衣巷，准备提前与谢安道别。
巷口停着不少牛车，不少人聚集在谢府门前，虽然通报之后没有得到上门的允许，但还是在门外逗留，互相交换着消息，没有离开。
看到王凝之的马车过来，大家纷纷避让，站在道路两旁，远远地看着府前的动静。
众人方才小声议论，都认为谢安主动请辞，是看不惯王凝之的独断专权，所以他们内心都有些小期待。
说不定王凝之会被拒之门外。
不过这些人都失望了，王凝之根本不用通报，下车后便直接进入了府内。
谢安正在接待客人，身体抱恙只是给天子一个能接受的说法，关起门就不用装了。
但来访的客人，却是一脸病态地斜躺在榻上。
王凝之看到此人，有些意外，快步上前道：“叔父怎么过来了，身体还好吗？”
来人却是七十三岁的王彪之。
“故人远离，怎么能不来相送，”王彪之说话有些费力，断断续续道：“这一别，怕是后会无期了。”
王凝之向谢安行了一礼，在王彪之边上坐下，叹道：“叔父该爱惜身体才是。”
王彪之艰难地笑了笑，伸出枯槁的手臂，抓住王凝之的衣袍，“叔平，谢安石乃天下所望，国之柱石，不可以放他离开。”
王凝之看向谢安，谢安做了个无奈地表情。
王彪之卧病在床多时，对朝廷的事早已不闻不问，但听说谢安要辞官归隐，他不顾儿子的劝阻，让人抬着过来登门。
“我劝过了，但谢公去意已决，”王凝之握住王彪之的手，“朝事繁杂，俗务缠身，谢公久在樊笼里，心恋山水，想重返自然，我们该成全他才是。”
王彪之喃喃道：“那朝廷怎么办，陛下怎么办？”
他的次子王临之就在边上，一脸尴尬地看着王凝之，替父亲解释道：“阿耶重病缠身，时而糊涂，时而清醒，有时候都不知道自己在说什么。”
王凝之叹息一声，拍拍王彪之的手背，没有说什么。
王彪之这时突然道：“叔平，你还记得当年来京城为你父亲奔走的事吗？”
王凝之疑惑了一下，但还是答道：“记得，还是叔父带我去见了当时还是相王的先帝。”
“日子真是快，”王彪之感慨道：“当年你认为朝廷处事不公，一怒之下便去了荆州，谁能想到后面会发生那么多事。”
王凝之脸上浮现出追忆之色，“是啊，我当年只是想为阿耶解围，后面的事，很多也是我没想到的。”
王彪之用力握住他的手，指甲几乎要嵌到王凝之的肉里，“叔平，如今你位高权重，不能再那般意气用事了。”
王凝之不知道他指的什么，但还是点点头，“多谢叔父指点，我理会得。”
王临之生怕父亲又说出别的什么话来，赶紧将自家仆役喊进来，连哄带骗地抬起王彪之先离开了。
谢安见状，喟然道：“看来叔虎真的时日无多了。”
当年阻止桓温的朝中三人，王坦之已经离世，王彪之行将就木，谢安辞官归隐，朝中再没有兼具能力、声望和胆识的人了，来阻止更为强大的王凝之了。
王凝之从回忆中恢复过来，“近年朝中重臣相继离世，叔父又要归隐，我路过巷子的时候，发现众人都有些人心惶惶。”
“这不是还有你，”谢安淡然笑道：“只要有你在，朝廷就乱不了。”
王凝之一时无法分辨这是真话还是讽刺，苦笑道：“可能在他们眼中，我正是祸乱之源。”
“那就做给他们看，”谢安说道：“你向来是有主见的人，怎么今日还忸怩上了？”
王凝之用力搓了搓脸，“心中不舍两位叔父，一时有些失态。”
谢安笑道：“我不是你，你也不是我，我不能接受你的做法，但这不代表你就是错的。”
王凝之点点头，没有说话。
人各有志，谢安是个生性闲散的人，如今谢家没什么值得他担心的，他也不想看到王凝之接下来的举动，及时抽身离开，对双方都是一件好事。
谢安又道：“以后的事谁说得好呢，你若是能成就一番大业，我今日的离开，可就成了后世的笑谈。”
王凝之摇摇头，“叔父志不在此，求仁得仁，没什么可笑的。”
谢安笑着问道：“那你今日还过来做什么？”
“提前告别，”王凝之叹道：“叔父离开那日，我就不去送行了，省得扫兴。”
以俩家的关系，他应该去送谢安，但以他现在的身份，出现在送行现场，大家都会不自在。