杨佺期的信未至，殷仲堪的使者已经抵达江州。来者是殷仲堪的堂弟殷遹（读作yu）。殷仲堪在信中阴阳怪气，赤裸裸的发出了威胁。

“今闻朝廷褒奖桓少兄治理有方，以我荆州四郡馈之，本人特派人前往道贺。桓少兄果乃名门之后，非同凡响，左右逢源，长袖善舞。今不念当日之约，共抗朝廷，反夺我荆州四郡之权，是何道理？既然如此，你也休怪老夫不义。你既毁约在前，我便不义在后。请桓少兄做好准备，我欲率荆州兵马前来江州，和你会猎于江上。桓少兄要备好美酒，好好的招待我才是。你知我嗜酒，若无美酒，我恐心情不佳，恼怒杀人，也未可知。”

桓玄看了信，心中愤怒之极。但按照卞范之的计划，自不能同殷仲堪翻脸。于是向殷遹做了一番解释。

“仲堪兄这是误会了我啊。我岂有侵吞荆州四郡之心？此乃会稽王奸谋，仲堪兄如何看不出来？司马道子以朝廷名义下旨，故意将荆州四郡划归于我，便是存心挑拨我和仲堪兄之间的关系，破坏我们之间的信任。这一点，希望仲堪兄明察。我们要做的便是不要中了他的奸谋。请殷遹兄传话给仲堪兄，我桓玄绝不会去管荆州四郡之事，钱粮人力一无所取。原有官员不变，只表面敷衍朝廷便可。还望仲堪兄万万不要上了会稽王的当，他如今四处挑拨，我等当有定力，识破奸谋，从容应之。如今我正在招募兵马，操练水陆兵马。一旦兵马成功，便同兄一起起兵，攻入京城，为先帝报仇，将会稽王及其党羽肃清，还我大晋郎朗乾坤。”

殷遹回荆州之后，将桓玄的话回禀殷仲堪。殷仲堪心中犹豫怀疑，又觉得桓玄的话说的有道理。于是决定暂时按兵不动，静观其变。只要桓玄不对自己的荆州四郡管辖，挂个虚名倒也无妨。

二月十二，杨佺期的信也送到了江州。面对杨佺期信上的威胁，桓玄给出的答复是另外一个态度。

“汝弘农杨氏，当年受我父恩惠提拔，方有今日之荣。你父杨亮，你兄杨广，当年受命进攻仇池，为杨安所败，仓皇溃逃，上万兵马损失殆尽。朝廷欲重责之，以儆效尤。我阿爷力保之下，方保住性命。立誓自此效忠我阿爷，唯我桓氏马首是瞻。如今我阿爷故去，尔等便可欺我与？你常对人言，说什么弘农杨氏乃中原正统豪族，地位高隆。我听了付之一笑。想你弘农杨氏，当年南逃归附我桓氏，苟全性命，得我桓氏庇佑方有今日。你弘农杨氏的底细人所尽知，不过是中原一小族耳，何来地位高隆之说？尔等如今所为，岂非忘恩负义之行？何况出言威胁于我？”

桓玄的信上还怒斥了杨佺期的德行。

“昔日出兵助力王恭之时，你提前撤兵，以至于联盟崩溃，功亏一篑。率先惧逃的是你杨佺期，你何来颜面指责于我？司马道子派人去豫州同你交谈，你便乘机退守梁州，令荆州暴露于外，此乃又一次背叛我等。我无奈之下，方于江州募兵以自保，今日你却以朝廷之旨指责于我，欲兴兵伐我，何等厚颜无耻。你兄杨广乃无能之辈，南蛮校尉之职慢说是朝廷所授，便是我兄夺之，也是情理之中。你兄杨广屡战屡败，激起巴獠之变，我桓氏出面方可平定，他的能力不足以担当此职。我桓氏取之也是天经地义。你当反躬自省，自惭羞耻才是，焉有颜面怪责于我？你要出兵伐我？我倒要看看你有多大的本事。尽管放马过来便是。”

桓玄不但写了这封措辞强烈，充满了羞辱和指责的回信，还将送信的使者打了二十鞭子撵了回去。

十余日后，杨佺期得到了这封回信，其愤怒可想而知。若桓玄说的话全部是假话倒也罢了，偏偏许多事确实如此。弘农杨氏南渡之时，确实是关中小族。只是自诩为关中贵胄，认为比之其他大族更有地位，这是杨亮一直强调的事情，也为了抬高地位，得以立足。

当初杨亮杨广攻打仇池，确实被打的落花流水，大败而归。此事被引为奇耻大辱。朝廷要杀杨亮父子，确实是桓温顶住压力，宽恕了他们。这些都是事实。

但在杨佺期看来，兵败并非是什么了不得的罪过，杨家父子为桓氏当牛做马，苦活累活都干，几次西征都是杨氏作为先头兵马，这已经报答了恩情。

至于出兵助力王恭之事，正是因为桓玄前往相劝，自己才出兵。事情最后搞得一地鸡毛，本来就让自己恼火之极。出于自保和利益的考虑，自己决定退守梁州，这也是基于利益的最佳考虑。现在居然被称之为背叛之举。

杨佺期的恼怒可想而知。他和桓玄之间已经不再是父亲杨亮和桓温之间的关系。桓温死了，桓氏没落，对父亲杨亮而言或许是伤心之事，但对于下一代的杨佺期而言，却是头上的大山没了，天亮了的感觉。父亲在时，自然有所收敛，现在父亲杨亮已经故去，那便没有必要再受桓氏的气了。

杨佺期召集帐下众人，将桓玄的信当众宣读。手下众将简直气炸了肺，纷纷要求出兵讨伐桓玄，给他个教训。他们认为，桓玄才是那个背叛之人，他跑去京城卑躬屈膝得了江州刺史之职，现在又理所当然的以朝廷圣旨为借口攫取大公子杨广的南蛮校尉之职，口出狂言，实在是令人愤慨。