文政６年（１８２３）に記された『武蔵名勝図会』の書くところによれば、ここ落合村に居館とは別に馬場や、島崎氏の鎮守をなす稲荷森があったようである。

戦国期の島崎氏の当主は島崎二郎某であり、彼は天正１８年（１５９０）に、豊臣秀吉による後北条氏攻略の際、八王子城に籠もったが、落城・討ち死にした。

『日本城郭大系』が刊行された昭和５４年当時は未だ地形にそれらしさを残していたようだが、現在は多摩清掃工場と小田急電鉄唐木田車庫によって、遺構はおろか、その地形すら何ら残っていない。