羽衣閣の建つ場所は、もとは潘楼の敷地だった。一説によれば、江南からの使者が懐信宿の質素さに耐えかね、下宿先として潘楼をわざわざ買い取ったと言われている。