平澤寺は、和銅年間（７０８～７１５）に行基上人がこの地に立ち寄り、地蔵菩薩を彫刻して草堂を建て安置したことに始まるという。
養老二年（７１８）元正天皇の十八歳になる皇子（後の聖武天皇）の病状が悪化しため、病気平癒祈願のため再び駿河国を訪れた。そして高さ50ｍ直径24ｍの楠の木を伐り、七体の観音菩薩像を刻み病気回復を祈願したところ、病気は快方に向かい治ったと いう。行基上人は七体の観音菩薩像のうち一体を当寺に、その他を駿河国安倍郡の六箇所の寺に安置した。この七体の観音菩薩像が安置されているところが「安倍七観音霊場」といわれている。