富永三郎左衛門は北条家の海賊衆として『駿河雑志』に名がある。それによれば甲斐の武田信玄は梶原景宗、山本常任、遠山丹波守、富永三郎左衛門ら率いる後北条氏の海賊衆を警戒し駿河清水城を築いたというが確証は無い。『北条記』関八州古戦録』には弘治二年の三崎合戦に富永三郎左衛門が参戦し、里見軍と奮戦を繰り広げたと書かれている。

富永氏は鎌倉時代から在地豪族であったが、天正１８年（１５９０）に豊臣秀吉によって攻撃を受け、後北条氏と運命をともにした