凸波志江氏の居館とも伝わる
　山崎一氏によると近世の中頃の宝暦年間に編纂されたと推定されている「上州故城塁址」（著者不明）によれば、波志江村に「この村に堡あり　小堡九千二百八十歩・・・」とのみ記されている。この点について、山崎氏はこの小堡が下波志江にある波志江氏の居館であるとしているのであるのだが、その具体的な論拠についてはあまり明確では無く些か不明な部分も多いように思われるのだが果たして実際にはどうなのであろうか。この点については考究を待ちたい。
　以下「伊勢崎市史通史編」においても、同説に従い「波志江館は波志江（橋江）氏の館跡と伝承されている。「いほり」（居堀）と称される方７０ｍの方形居館に跡に接して東北の金蔵寺敷地や南の遺構も館（城）の張出し部分とも考えられる」と述べられている。この点については、「日本城郭大系」「群馬県の中世城館跡」においても山崎氏が関わっていることからおおむね同様の扱いが為されている。
　なお橋江郷の一帯に関しては中世後期の文書が存在しており、「黄梅院文書」によると守護代である長尾景仲が永享１１年（１４３９）に波志江掃部助などに宛てた文書では当地との関わりを有すると考えられる地侍層とも推定される武士の名も見られることから波志江氏の存在については裏付けられることになるものと考えられる。
その後「赤堀文書」によれば長享２年（１４８８）頃に赤堀上野介、次に永禄１３年（１５７０）には長尾輝虎（※後の上杉謙信）判物により赤堀上野守に宛行われていることが記されている。（※これらの文書に関しては「角川地名大辞典」より引用した）
従ってこれによれば、少なくとも１５世紀前半くらいまでは波志江氏が領主として存在していたものの、１５世紀末頃になるとその領主としての地位を喪失し、波志江郷の領有権は赤堀氏へと転じ波志江の動向も確認できなくなるように思われる。こうした経緯をこの城館跡について考慮すると、おそらくは館が館城へと転化する過程で事実上の廃城となったものであるようにも思われるが無論その詳細は不明である。