鈴木氏は紀伊・熊野より、舟でこの地に上陸し、土着したという伝承をもつが、江梨地区には、明治時代になるまで江梨地区に至る陸路がなく、この伝承の傍証となっている。また、大瀬崎先端には、伊豆上陸当初の居館跡という伝承地もある。

居館は、ほぼ海蔵寺の境内がこれにあたるとされているが、遺構は全く残っていない。この寺の東方に小河川が北流しているが、この河口部が舟溜りとなったと考えられている。鈴木氏は、後北条氏の西伊豆水軍の有力な部分を占めていたらしく、比較的水運のよい地に居館をもうけていたようである。