凸戦国期には多胡氏の居館
　多胡丘陵の平坦地に築かれた東西南北約１１０ｍの規模を有する方形館で、平成１１年の発掘調査により堀底部分から天仁元年（1108）の浅間山大噴火の際に飛散した軽石層（火山活動に伴う排出・堆積物−浅間Ｂテフラ層−厚さ約２０ｃｍ）が確認されました。このことにより館の築造年代は１１世紀以前に遡る可能性も想定されます。戦国時代には、その立地条件から北東側に隣接する「多胡砦」、南側約８００ｍに所在する「多胡下城」（別名を「金沢城」とも）との関連が窺えます。
　永治・康治年間（1141-1144）の頃（⇒「延慶本平家物語」では仁平３年（1153）としています）、源為義の二男義賢（木曾義仲の父）がこの多胡館に居を構えたと推定され、その後秩父平氏の援助を受け武蔵大蔵館へと進出しましたが、久寿２年（1155）都の政争を背景とした源氏一族の内訌等により源義朝の嫡男悪源太義平（義賢の甥）により同館にて討ち死にを遂げたとされています。義賢は在京時には後の近衛天皇となる東宮の警備を任されたことから帯刀先生（たてわきせんじょう）と呼称され、東国移住後には多胡先生（たごせんじょう）とも呼ばれたとのことです。なお、埼玉県上里町の帯刀地区にも所縁の墓石が伝わり、その伝承を残していますが歴史的な経緯は不明な模様です。
　義賢の滅亡後に多胡氏の居館となったと考えられ、「吾妻鑑」によれば建久６年（1195）源頼朝の奈良東大寺供養した隋兵のなかに小林氏、小串氏とともに多胡宗太の名が、承久の乱（1221）では宇治川合戦に多胡宗内の名がそれぞれ記されています。また戦国時代の永禄３年（1560）の長尾景虎の下に参集した軍勢の着到状である「関東幕注文」（文書作成時期には複数の異説あり）にも惣社衆の一人として多胡氏の名が記されていますがその詳細は不明なようです。（「吉井町誌」「吉井町の文化財」等より）