四本松城跡又の名を住吉城と呼称するこの社は、天喜3年（1055年）、源義家の武将伴次郎助兼がこの地を治めたときこの住吉山に城を築き、自分の前任地であった摂津住吉浦より岸の姫松4本を運び屋形の内に植え、同時に住吉4座の神を祭司し、これにより東安達を四本松の庄と称し社号を四本の松住吉神社、城名を四本松城又の名を住吉城と呼称しました。代々伴氏が東安達を領主としましたが、文治5年（1189年）の文治の役に当主武知が戦死してこの城が滅亡しました。田原次郎秀行がその後入国してこの地を治めましたが、2代成清のとき城を川
