羽衣樓所在的地方曾經是潘樓地界，據說是因為江南使臣不堪懷信驛清苦，這才特意盤下潘樓用以下榻。