羽衣楼所在的地方曾经是潘楼地界，据说是因为江南使臣不堪怀信驿清苦，这才特意盘下潘楼用以下榻。