杨广委派李靖率领骠骑营一营人马再次赶赴浙东剿匪，同时自己在广陵开始着手准备举办千僧会，以期借助在江南佛界享有祟高声望的法华宗开山宗师智觊大师的影响力，通过宗教这种途径收拢江南民心，达到抚绥江南的效果。
然而，仅仅在李靖奉命率领人马离开广陵十多天后，从岭南传来了一个惊人的消息：在隋朝兴兵平陈一役中侥幸流窜至岭南一带藏身的南陈旧将王仲宣纠结了数万南陈残部，与岭南诸蛮部落结成同盟，公然扯旗造反了。叛军接连攻下了隋军占领的数座州城，兵锋直指浙东的会稽。
杨广接报后，一面急命会稽郡守韦晃统领本部兵马严防死守，务必将叛军阻挡于会稽城外，一面从建康召回张衡、裴蕴二人，紧急会商平叛事宜。
其时，宇文述已奉调回京，为防范躲藏于暗处的“雁巢”残部趁机生乱，杨广没有传命率军驻守建康的大将军梁默一同来广陵议事，严命梁默加强建康城的警戒，保持高度戒备。
张衡自与宇文述、段达三人联手，决定要扶保杨广入主东宫以来，这些天来可谓是全心全意地为杨广抚绥江南，营构江南这块立足之地在不停地忙碌着，在蒋山督促重建谢氏宗祠的施工现场接到杨广的传召后，顾不得回城，即直接渡江赶到了广陵来见杨广。
“建平，王仲宣起兵叛乱一事想必你已听说了吧。我欲趁此机会，麾师南下，一举枚平岭南，你以为如何？”
张衡走进广陵总管府的议事厅时，只见杨广正俯身于舆图前审视着岭南一带的地形，头也不抬地向自己问道。
“王爷发兵前，最好还是派人去问问朝廷招安岭南蛮族部落的进展情况吧。据我所料，王仲宣叛军兵锋如此强健，多半已事先与岭南诸蛮族部落结成了同盟，倘能使这一同盟不攻自破，则平叛之事只需派一偏师即可，又何劳王爷尽发江南大军千里跋涉南下呢？”张衡走到杨广近前，拱手建言道。
“建平提醒得是，我只想着发兵平叛的事，却把此前朝廷派员招安岭南诸蛮的事给忘了。”杨广听了张衡的话，恍然大悟道。
“从时间上估算，若是朝廷派往岭南招安的钦使行程顺利的话，这几日应当抵达岭南，与洗氏夫人会了面。稍后定会有消息传来的，王爷请耐心等待几日，只要韦晃率军守住会稽，江南可保无虞。”张衡进而提示杨广道。
与此同时，在与广陵相距两千里之外的岭南洪州城中，隋朝派往岭南招安诸蛮的钦使——吏部侍郎裴矩正与岭南诸蛮族部落的大首领洗夫人进行着会晤。
洗夫人在岭南方圆几千里是位传奇式的人物，她年轻时嫁入了岭南冯家，曾经帮助夫家从普通的土司一跃成为在岭南拥有最广阔土地的大部落首领。
更为难得的是，洗夫人虽是一介女流，却极具慧眼，深明大局，在她力主下，岭南诸蛮族部落纷纷向南朝献贡归附，结束了部落之间多年以来纷争不断的局面，为此，南朝中的两个朝代：梁、陈，都曾正式册封洗夫人为岭南大郡的郡守，岭南诸蛮部落的大首领。从某种程度上，洗夫人可以称得上是岭南王。