瑞祥寺始建已無從考查,相傳,最早時該寺坐落于湯山之巔,是里人王孰故居,后舍宅為寺。明嘉靖三十一年(公元1552年)倭寇進犯乍浦,登山毀寺,后來瑞祥寺在重建時稍稍下移。清咸豐十一年(公元1861年)毀于兵燹。同治七年(公元1868年)重建,存續(xù)時間較長,最后毀于20世紀50年代末?!叭鹣闀早姟蔽裟隇辇堜邪司爸?,據(jù)清康熙《乍浦九山志》記載:“飛來鐘,在湯山瑞祥寺,相傳浮海而來,聲聞百里,明嘉靖年間倭寇進犯乍浦時被毀,鐘被火焚,稍失聲,幸未損”。
瑞祥寺于2008年啟動修復重建工程,內設大雄寶殿、圓通殿、臥佛殿、鼓樓、鐘樓、山門、放生池、天橋、九龍廣場等,占地面積約22畝,建筑面積約3500平方米,氣勢雄偉壯觀,飛檐翹角、斗拱圍廊,與青山綠樹、碧瓦黃墻相映成趣,美不勝收。周圍林木蒼翠,四季蔥郁,面對波濤滾滾的大海,海風徐徐,環(huán)境清雅。
寺內還有“無欲泉”,清泉不竭于千年,在《乍浦紀事詩》中也有記載:“鑿石疏泉礪齒涼,高僧已往水猶香。只緣人世人多欲,涓滴難流到下方。瑞祥寺后有無欲泉,適供寺僧取汲焉。 ”