桓温即便兵败，江陵城中至少有数千兵马，而刘毅大胜之后士气正旺，收拢荆州败军人数超过万人，以几百兵马与两家争夺天子，岂不是以卵击石。
杨安玄笑道：“桓玄兵败之后定然胆丧，不敢据江陵对抗刘毅大军，而刘毅需时清理战场，收降俘兵，因此愚推测江陵会有一段时间无人驻守。”
“既如此，主公为何不从当阳南下，当阳应该能出动三千兵马。”赵田建议道。
杨安玄摇头道：“此次荆州军东进，冯该并未随行，而是率军驻守在江陵北面的纪南城。而且大举出兵定然惊动桓玄和刘毅，届时桓玄出逃不得只能据城而守，而刘毅得知愚前去摘果，肯定也会加快出兵，反为不美。”
五月二十一日，桓玄逃至巴陵，身边随行战舰不过二十二艘，兵马不足千人。
桓玄之子桓升仅有六岁，见父亲愁容满面，抱住桓玄抚摸他的胸脯安慰他，桓玄看着幼子悲不自胜。
左卫将军、侍中殷仲文见桓玄大势已去，奏称愿留在巴陵收拢残兵败将，桓玄不疑有他，以为殷仲文忠心可嘉。
