1903年に下士官兵の慰問休養ために設置された。1936年に地下1階地上3階の現在の建物に建て替えられた。上陸した兵士の休養のための施設であり、売店、食堂、娯楽施設、宿泊施設などを備えていて、2500名が宿泊することができたという。また兵士に会いに来た家族、軍港の見学グループも利用することができた。隣の桜松館は、演劇の上演などが可能な講堂などを備えた施設として、1903年に建設、1929年に建て替えられて、現在に至っている。

　下士官兵集会所は、最近まで「青山クラブ」という名称で親しまれ、海上自衛隊の施設などとして利用されていたが、2017年呉市に売却された。今後どのように利用するか検討されている。

　「この世界の片隅に」には、主人公すずの幼なじみ水原哲が、乗船する重巡洋艦青葉停泊中に、すずを訪れる場面がある。水原が本来であれば宿泊する施設が、この海軍下士官兵集会所なのである。水原は、この施設に宿泊しないで、すずの嫁ぎ先に宿泊したのである。

​