テキスト伝え聞くところによると、この斎の主人は、家は貧しくとも志は高く清らかな、風変わりな画師だという。近所の者たちは冷やかしてこう言う。「あの家は屋根が半分しか残っていないほどの貧乏なのに、破れた絵切れを宝物みたいに大事にしている」と。それを聞いた画師はただニッと笑い、自らの住まいを「半檐斎」と名づけ、その諧謔の精神を示した。