四賀村は、先史時代から人々が住居し、有史時代に入り各地に国府が配された頃、錦服の駅が置かれて交通の要所としての位置を保ち、江戸時代には会田・刈谷原は善光寺街道の宿場として、保福寺は江戸街道の宿場として栄えた。

虚空蔵山城は会田富士とも呼ばれる四賀村のシンボル的な山で、戦国時代には当地を治めていた豪族・会田氏の本城が築かれていた。城主は上杉系の会田小次郎幸継で、武田信玄に抵抗するも天文二十二年（1553）に降伏している。

頂上部分の細長い岩場に位置し、山腹の各尾根には秋吉城、中ノ陣城、現城などの支城を構えている。山全体に無数の削平地があり、それらは険しい山道の登道確保と防御施設とみられる。城址には石積みに囲まれた主郭、副郭があるものの、面積は小さい。相当な高地であり、天候も安定しないことから、ここに居住用の建物があったとは思えない。それを複数の堀切が守っているが、天然の岩を削っただけで、縄張りという印象はない。

登山道は３つあるようだが、四賀村四賀東郵便局を山間に登った林道虚空蔵線にある岩谷神社登山口が比較的楽なようである。