現在の庁舎は、1905年芸予地震のあとに建設されたもの。空襲の被害を免れ、戦後、占領軍司令長官の宿舎として使用された後、呉市に移管され、入船山記念館として整備されて広く公開されている。入船山には現在、海軍工廠塔時計、東郷平八郎邸宅の離れ、高烏台砲台弾薬庫などが移築されている。

​

　戦前からある施設としては、敷地内の目立たない場所に水交神社がある。入船山には元々呉市の総神社である亀山神社があったが、入船山が海軍に接取されるとともに、亀山神社は別の土地に移された。しかし、空襲によって亀山神社が焼失したあと、入船山にあった水交神社が亀山神社の仮社殿として亀山神社に移された。水交神社は、1943年海軍によって建立された。1955年亀山神社が改築されたあと、水交神社は居場所を失ったが、1968年元々あった入船山の敷地内に復元され、現在に至っている。