鹿留川は桂川と合流する直前の古渡で大きく蛇行するが、その屈曲点に城山がある。

ここには狼煙台があったらしく比高２０mの小山には２つの郭が認められる。尾根上に城址があり、主郭である頂上には神社がある。主郭部の南西側には４m近い高い土塁が残り、北側を帯郭で守り、二の郭とは堀切で仕切っていたようである。

ここは勝山城が築かれた１５９４年以降に利用されたと思われるが、それに先行する小山田氏の支配時代にも何らかの施設があったとみられている。