说起这七宝寺，还颇有些渊源。原先不过是一座家庙，后来由于香火旺盛，就开始远近有名起来，一有名，这山的传说也就跟着多起来。说得炫而又炫的说法是，每当太阳从东方升起，照耀在藏珠山上，藏珠山就会自然放射出一缕一缕若隐若现的金光，远远看去，就如一圈一圈佛光一样，那些金光是从山上树丛中、岩石缝里、草丛中放射出来的，非常美妙好看。有人便推测说这山上藏有金、银、砗磲、玛瑙、琥珀、琉璃、珊瑚等七种宝，每一种宝贝都会发出一种光，七种不同的光组合成一个七彩光环。还有人说，这座寺庙里还藏有舍利，只有舍利才会焕发出这种佛性的光芒，于是更加引来了众多信徒的瞻仰和崇拜。
藏珠山上的传说传了很远，引来无数批盗墓者，这些人选择在深夜光临藏珠山上，他们身藏寻宝物器，寻遍藏珠山角角落落，沟沟坎坎，石隙山洞，甚至连一棵空了心的古树都被他们掏了，人们在深夜不时会听到山上给敲得叮叮当当的，那声音时断时续的，吵得人都睡不好觉。有人说，一定有人盗得了宝物，不然怎么会一批来了，又走了，走了，又来了，如果没有宝贝，他们断不会这样反复来的。反正说法很多，没有谁知道具体情况如何。
当初这藏珠山上并没庙宇，何氏家族世代生活在山上，何氏在本地属大姓，何氏老祖信佛，就将本家屋子辟最顶一间作为家庙，供奉香火，礼佛念经。由此，逐渐引来一些信佛之人进香，人们口口相传，说在庙里许愿挺灵的，于是来此进香的人便多起来，一时藏珠山上香火不断，久而久之，就发展成一座庙宇了，后来因影响扩大，这庙又被收归为关押云贵川等区域的高级犯戒和尚的戒律院。
西溪河绕不开藏珠山，或者是说藏珠山离不开西溪河。
西溪河流至藏珠山以北，就分叉了，一条由北向东流，一条由北向西流，再折向南，最后两条细流将藏珠山绕围起来，汇合成一个大大回环，藏珠山就在水中央了。西溪河不是大河，藏珠山也不是独立存在的大山，所以藏珠山也就不会是离堆，只是这四面环水的形态容易让人想起离堆而已。
去七宝寺进香和读书都得经过杨公桥。杨公桥是石桥，中间立一石墩，桥面由一米厚的石条架构，西溪河在这里一折返，就有些迅猛，因此这里经常发生水患，石桥每隔几年便被损毁，这样建了毁，毁了又建，桥又离不得，这是必经之路，非建不可。后来当地听信一位道士作法，在石桥正中雕刻一条石盘龙，紧紧地盘绕着石桥，说来也怪，自那条龙在桥上刻好后，就再也没发生过水患了。
赶走和尚后，这庙就没了香火，只剩读书声了。
1925年，留学法国的南充大通场人氏共产党员吴季蟠奉中共中央之命，回南充建立中共川北支部，这是川北最早中GD组织，也是四川最早党组织之一，中共川北支部曾选派老师到七宝寺高小任教。
