現在は保食神が祭神になっているが、昔、烏の霊をまつって建てられたものといわれる。
天武天皇(673～686年)の代に、この地に赤い三本足の烏が生まれた。土地の人は大変珍しいことだと朝廷に献上したところ、天皇はたいそう喜び、これはなにかめでたいことがある前兆を知らせる瑞鳥（めでたい鳥）に違いないと、直ちに年号を朱鳥(686年）とした。また、すばらしい烏が生まれた所ということで、この地を烏王庄と名付けられた。それが後に伊保庄になったという伝説がある。
また、五色の烏の霊をまつり、「五烏宮」と名付けられ、いつの間にか小烏神社と呼ばれるようになったといわれている。
