四国八十八ヶ所霊場の第五十一番札所。開基は行基、728年の創建とされる。四国を代表する名湯道後温泉の温泉街から近く、お遍路さんの他にも一般観光客で賑わうことも多い。遍路の元祖とされる衛門三郎の転生物語ゆかりの寺として知られる。弘法大師が813年に来錫して真言宗に改宗。

【衛門三郎の伝説】
伊予国荏原に衛門三郎という強欲な長者がいた。門前に弘法大師が托鉢に来たが、少しの金をも惜しんで御布施をしない。大師は次の日もその次の日も托鉢に来たが、一度たりとも御布施をしなかった。ある日、毎日やって来る大師に三郎が激怒し、大師の持つ鉄鉢を奪い取り地面に叩きつけた。鉄鉢は8つに割れて彼方に飛び散った。それ以来、大師が三郎の元へ現れる事はなかった。しばらくして、衛門三郎の8人の子供達が次々と原因不明の病に倒れ亡くなっていった。衛門三郎はかつての自分の悪業に気付き、あのお坊さんは弘法大師だったのではないかと思い、会って罪を詫びるために大師の足取りを追った。これが遍路の始まりとされる。四国霊場を回ること20数回、大師に会うことが出来ない。そこで三郎は、逆に回れば会えるかもしれないと思い、逆回りで霊場を巡った。しかしそれでも大師に会うことが出来ず、ついに第12番札所焼山寺の手前で行き倒れとなった。意識が薄れる中、弘法大師が現れると、三郎は息も絶え絶えに自分の罪を詫びた。大師は「汝の罪は四国を修行して歩いたことで消えた」と言い、さらに死に行く衛門三郎に何か望みはないかと聞いた。三郎は「私は伊予城主河野家の一族です。もし生まれ変わることが出来るなら、その世継ぎに生まれ、今度こそは天下万民のためにつくしたい」と望んだ。大師は、三郎の左手に「衛門三郎再来」と書いた小石を握らせ、その後三郎は息を引き取った。後年、河野家に世継ぎが誕生した。その子の左手は生後3年経っても開かない。困った父親が安養寺の住職に加持を頼み、住職が祈祷すると手が開いた。なんとその手には「衛門三郎再来」と書かれたの小石が握られていたとされる。石手寺の名はこれに由来し、伝説の石は今も寺の宝物館に納められている。