天文二十四年（１５５５）重行の子の勝行は、姓を牛込氏と改め、赤坂・桜田・日比谷付近も含め領有し、その頃に牛込城が築城されたといわれる。大胡氏は天正十八年（１５９０）北条氏滅亡後は徳川家康に従い、牛込城は廃城になったとされる。

現在の光照寺と隣接する日本出版クラブ付近が城域と推測されているが、遺構は見当たらない。