传说在明代万历年间，官家在弥渡大开银矿，观音洞就是当时最大的一个矿洞。这里矿产资源丰富，每天在洞中挖矿的矿工有几百人，往来背矿的也有数百人。年复一年，洞子也打深了，官家的财富也越来越多了。贪婪的官家，只知聚敛钱财，日夜不停地驱赶矿工进洞挖矿，对矿工的安全却毫不介意，洞倒人埋的事经常发生。
一天，洞中一段地方又要崩塌了，几百矿工又将被埋在矿洞中这危急的情景被观音大士知道了，她变成了位老太婆，用竹篮背满了水，水里游动着金红色的三叉尾巴鱼，来到山下大声叫卖。这件稀奇事，传到洞里去了，一传十、十传百，即刻传遍了全洞。大家都争相拥出洞来，要看一看竹篮背水，鱼长三叉尾巴的奇迹，几百矿工都到山下来了，可卖鱼的老太婆不见了，大家都在叹息自己没有眼福。
突然，轰隆声巨响从洞中传出，接着卷出一阵阵漫天的灰土，矿洞崩塌了。大家全惊呆了，忽听人群中有人高喊：“观音！”大家恍然大悟了：是啊！是救苦救难的观音大士，预知矿洞崩塌，化身为竹篮背水卖鱼的老太婆来救我们啊！大家感动极了，不约而同跪在地上，向空膜拜不已过后，为了报答观音大士救命之恩，大家集资在洞口塑起观音的全身，兴建了观音寺。
从此，这座山就叫观音山，它前后左右断续相连的几个小村庄也都总名观音山村了。清末，本村举人李作梅曾撰写一联，并亲笔书写刊刻成匾联，悬于洞口大殿墙壁上，联云：前辈何缘瞻大士，此山有幸名观音。现在观音寺大部已被拆毁，观音大士塑像也仅遗座基，唯有巍峨深邃的观音石洞依然如故，供人参观。
