昔、貧しい夫婦が落穂(おちぼ、収穫した後に落ちこぼれている稲、麦などの穂。土穂は落穂のこと。)を拾い、この巨石の上に置き、八幡宮に多年献じた。すると、八幡宮の神霊に感応があり、夫婦が富有者となった。これより後、この神に祈るものは、落穂を岩の上に置いて祭るを常とした故に、土穂石八幡宮の名ありという。
上土穂石には神宝石・影向石・烏帽子石・亀石・女夫石が、下土穂石には父翁石・母翁石があった。
1952(昭和27)年、河川道路改修工事の際に破砕されて、現在ではわずか1、2石を残すだけである。
柳井方面(土穂石川) 余田方面(松尾芭蕉句碑)