江戸時代の盛岡藩の4大飢饉といわれる元禄・宝暦・天明・天保の大凶作によって、領内には多くの餓死者が出た。祇陀寺14世天然和尚は、その悲惨な餓死者を供養するために、十六羅漢・五智如来の合計２１体の石仏建立を発願した。そして領内から浄財の喜捨を募って、天保８年（１８３７）工事に着手した。下絵は藩の御絵師狩野林泉が描き、石材は市内の飯岡山から切り出し、藩の御用職人の石工７人が３年かかって荒刻みを行い、北上川で舟を渡して、建設場所の祇陀寺末寺の宗龍寺境内に運びいれ、最後の仕上げをしたものだという。しかし、宗龍寺は