711（和銅4）年に氷室岳の山腹にまつられた氷室大権現が、1508（永正5）年に現在地に鎮座した。
1908（明治41）年に中村にあった亀山八幡宮を合祠して氷室亀山神社となった。
境内の氷室池は歌によく詠まれ、境内に「紀貫之家歌会」詠人不知の「氷にし氷室の池も冬ながら東風く風にとけやしぬらん」の歌碑がある。
門の東側にモミノキ（市天然記念物、2023（令和5）年4月16日に落雷により被災）、氷室池のほとりにアラカシ群がある。社叢は5月頃コジイ群が黄白色に開花する。
毎年4月第1日曜日に行われる伊陸天神祭は、「牛天神」として有名な祭事である。
