杨佺期整顿部队，建立军旗，声称要出兵救援洛阳，实际上是要与殷仲堪一起袭击桓玄。殷仲堪虽然表面上和杨佺期结盟，但是内心并不信任他，苦苦制止；还担心止不住，派堂弟殷遹屯兵于北部州境，以遏制杨佺期。杨佺期既不能单独行动，又搞不清殷仲堪本意，于是解除行动。
殷仲堪多疑，总是不能决断，谘议参军罗企生对弟弟罗遵生说：“殷侯仁而无断，必定蒙难。我蒙受他的知遇之恩，从道义上不可离去，必将为他而死。”
这一年，荆州大水，平地水深三丈，殷仲堪拿出全部仓储粮食，以赈济饥民。桓玄想要乘虚攻伐，于是发兵西上，也声言是要去救洛阳，写信给殷仲堪说：“杨佺期受国恩而弃山陵（皇家陵墓在洛阳，指不救洛阳），你我应该一起向他问罪。如今，我当顺着沔水而上，讨伐铲除杨佺期，现已屯兵于江口（长江、沔水交汇处）。如果您的看法与我一样，可以逮捕杨广，诛杀他；如果和我不一样，我便当率兵进入长江（意思是攻打江陵）。”
当时巴陵仓库有储备粮食，桓玄先派兵袭取。梁州刺史郭铨前往州府上任，路经夏口，桓玄诈称朝廷派郭铨为自己的前锋，将之前兼并的江夏杨孜敬部队交给郭铨，命郭铨督诸军并进，又密报哥哥桓伟，令他为内应。桓伟遑遽不知所为，把信交给殷仲堪。殷仲堪逮捕桓伟为人质，令他写信给桓玄，言辞甚为悲苦。桓玄说：“殷仲堪为人，没有决断，总是做成败两手准备，又为子孙考虑，我哥哥必定没有危险。”