音無神社は、伊東の中央を流れる音無川（現・松川）の東岸にあります。

『曽我物語』によると、伊豆国の蛭ヶ小島に流された「源頼朝」は、

一時、伊東の北の小御所で暮らしておりました。

その時に「伊東祐親」の娘「八重姫」と出会いました。

愛し合う二人が密かに会っていた場所が音無神社のある「おとなしの森」だったと伝えられ、

対岸にある「ひぐらしの森」は、頼朝が八重姫に会うため日暮れを待った森といわれています。

このような逸話から今では恋愛パワースポットとされております。