足利市の市街地に隠れるかのように佇む明治初期に建てられた茶室です。
江戸時代から回漕問屋を営む「萬屋（よろずや）」の三代目主人である「長 四郎三」によって渡良瀬川畔の猿田河岸に建てられ、明治34年に現在地に移築されました。
豪商であるだけでなく、表千家不白流の茶人であり、漢詩・和歌・俳句・書画骨董の収集に通じる教養人だった「長 四郎三」の雅号である「物外」に因んで、この茶室は「物外軒」と名付けられました。