不過桓溫本來念在兒時的交情，此外也有利用殷浩這個老熟人，以殷家的勢力來牽制當時堅決反對自己篡權奪位的王家，謝家等門閥家族的考慮，一開始是答應重新起用殷浩為侍中的。為此兩人還書信聯絡不斷，甚至商議起朝中的人事安排了。
但殷浩在大喜之余，卻又犯了低級錯誤，居然把最重要的一封回信，也是答復桓溫應該如何安排朝中官職的回信給弄出了岔子。也許是因為這封信太過于重要，所以殷浩在裝好信封后又反復地拆開觀看，如此十余遍，這才滿意地放了回去，卻是出了差錯，把一封白紙給放進了信封之中，寄給桓溫。
桓溫本來滿懷希望地想要看殷浩安排的朝中官職名單，也能從此看出殷浩是否真心地臣服于自己，卻看到了一張白紙，于是勃然大怒，以為殷浩是在羞辱自己，以白信絕交。從此桓溫就再也不理會殷浩。
身為文壇領袖的殷浩，就此經歷了人生的大起大落，在家患上了怪病，時不時地會嘴里念念有詞，拿起一支筆在空中虛畫，卻不知在寫些什么，直到很久以后，家中子侄才明白，他寫的是“咄咄怪事”這四個字，大概是一直也沒弄明白，為什么寫好的信，就成了一張白紙呢。
兩年之后，殷浩積怨成病，最后活活氣死了，而桓溫沒當上皇帝，卻保住了桓家在荊州的世襲藩鎮，也難怪殷仲堪憤憤不平，畢竟當年長輩的恩怨還在，自己現在也跟桓玄有了高下之分。
桓玄嘆了口氣：“我們兩家長輩的事情，就不要再說了，當年那封白信，可能是個誤會，先父臨終之時，言及生平悔事之時，還特地提到了這件事，說這只怕是信件給某些想要離間我們兩家關系的人掉了包，這才讓兩位大人生出了誤會。只是后來他意識到這點時，令叔已經仙去，也無法彌補這個遺憾了。”
殷仲堪冷冷地說道：“事已至此，說什么也沒用了。你們桓家起碼還有荊州，而我們殷家子弟，除了有幾個虛職之外，又得到了什么？這回若不是你們在荊州面臨了很大的壓力，要四處求援，又怎么會來找上我殷仲堪呢？”
桓玄微微一笑：“殷兄果然一語中的，不錯，話說白了吧，之前我沒來找你，確實是因為你們殷家現在并非居于要職，不過，這不正是你家的傳統嗎？陳郡殷氏，向來是文壇領袖，就算沒有官職在身，也在世家士族間有巨大的影響力，可謂黑衣宰相，山中執政。這可不是小弟要吹捧殷兄啊。”
殷仲堪的臉上閃過一絲得色，點了點頭：“這點愚兄倒是可以當仁不讓，這也是我們殷家的傳統了。不過，就算有些虛名，現在我們并無權勢，你想要調兵支援，只怕這個忙，我是幫不上的。”
桓玄的眼中冷芒一閃：“不，殷兄，你誤會我了，這次我來找你，可不是要你出面幫我調兵，秦軍南下，看起來真正的突破方向，不在荊州，而是淮揚。”
殷仲堪的眼中閃過一絲疑色：“什么？秦軍不是大軍攻破襄陽了嗎，怎么可能就此停手？荊州才是他們要拿下的，至于江淮這里，不過是偏師吧。”
桓玄笑著搖了搖頭：“殷兄，你不在前線，這軍事非你所長。兵者，詭道也，秦國大舉進攻荊湘，如果真的有意從荊州一帶突破，那一定會在攻克襄陽之后，派出大量援軍，繼續攻擊的。”
“但他們現在卻是停止了攻擊，駐守襄陽一線，與我叔父的十萬大軍對峙，反倒是在淮北，攻勢非常兇猛，甚至從荊州戰場上調去了兩萬兵馬作為援軍，種種跡象表明，秦虜知道我們荊州一帶的防守嚴密，想要再突破很困難，于是，挑選了淮揚一帶作為突破口。”
殷仲堪喃喃地說道：“原來是這樣。這么說來，你現在不需要求援了？”
桓玄點了點頭：“謝家所練的北府兵我見過，很能打，現在秦虜看起來在淮北占了點便宜，但在我看來，只怕是中了謝家的誘敵深入之計，一旦秦軍主力長驅而入，到達水網縱橫的淮南地帶，只怕會給北府軍大敗，若能一戰擊破秦軍主力，則這次大晉的危機，就可以安然渡過了。”
殷仲堪的眉頭舒展了開來，并不是很懂軍事的他，其實這些天也挺憂心這些事，他點了點頭：“若是如此，是國家之幸，也是我們這些世家之幸，畢竟，有國才有我們的世代榮華富貴嘛。”
說到這里，他的眼中神芒一閃：“這么說來，桓兄此次來找我，可是為了這謝家烏衣之會的事情？”
桓玄搖了搖頭：“我并不懷疑謝家能打敗秦軍，但是如此一來，謝家的權勢會得到進一步的加強，他們現在已經有扶植劉穆之，劉裕這樣的低等士人，以代替我們這些高門世家的打算。若是再讓他們戰場建功，那就更不得了。”
說到這里，桓玄嘆了口氣：“當年先父大人，不就是走了這條路，通過歷次北伐建功，一邊提拔了大批起于行伍的忠心部下，一邊想要改天換日，自立為君嗎？謝家看起來也有走這條路的意思，到時候，非你我之福啊！”
桓玄抬起頭，緊盯著沉吟不語的殷仲堪：“我這不止是為了我們桓家，更是為老兄你著想啊，要知道，我們桓家再怎么也有個荊州的地盤，可是殷兄你呢，只怕謝家一旦得勢，你現在的官職也未必能再保有了。”
殷仲堪突然一抬手，阻止了桓玄繼續說下去：“夠了，不要再說了。桓玄，你的意思我很清楚，但是現在大敵當前，我們不能做相互牽制，影響前線戰事的事情，不管怎么說，現在秦虜才是我們的大敵，別的事情，等打完仗再說。”
桓玄微微一笑：“這是自然，我這次來，不是要殷兄現在就做什么，不過，我希望殷兄能利用您這名士地位，在這段時間多跟建康城中的世家貴族們走動走動，把我剛才說的這個道理，讓更多的人知道。起碼，不能讓謝家戰勝之后，就把我們這些高門世家一腳踢開了！”
殷仲堪的獨眼中冷芒一閃：“那我做了這件事，得罪了謝家，我殷家又有什么好處呢？”
桓玄伸出了手：“兄之大恩，不敢或忘，你我可以成為一世的盟友，永不相背！只要我桓家渡過此關，荊州的南蠻校尉（荊州最高武官，僅次于刺史）之職，非老兄莫屬！”
殷仲堪咬了咬牙，伸手一擊掌：“一言為定！”