城郭としての存在の有無にかかわらず領地支配としての変遷を辿るとするならば、凡そ次のような経緯となるものと考えられる。内容は主として「吉井町誌」の記述・史料からの引用である。

凸山内上杉氏時代
　上野国は関東管領山内上杉氏の本領であり、その地理的な条件からは山内上杉氏の直轄領あるいは長根氏、小林氏などの有力な在地領主層の支配が及んでいたものとも推定されるが、これらの事柄を示すような具体的な史料は残されていない。
　その後関東管領上杉憲政は天文２０年（１５５１）３月１０日の神流川合戦において北条氏康に敗北を喫し、北条氏の攻勢と家臣団・国人衆の離反などにより本拠地である平井城の防衛さえも危うくなり越後の長尾景虎の庇護を求めて逃亡した。このことにより吉井地域は一定の間は後北条氏の影響下に置かれたものと推定される。しかし、永禄３年（１５６０）の長尾景虎の越山（関東侵攻）により、後北条氏勢力は当分の間西上州方面からの後退を余儀なくされた。

凸長野氏時代
　上杉憲政が不在となったあとの西上州では、長野業政（上杉氏被官の有力国衆）の健在時には西上州一揆の盟主として積極的に小幡氏、安中氏、和田氏、金井氏、依田氏、羽尾氏など他の有力国衆との姻戚関係を結び、越後上杉氏の軍事的支援を背景として甲斐武田氏、後北条氏の進攻を食い止めていた。
　しかし、業政の死後間もなく永禄４年（１５６１）には小幡氏の一族内紛を契機とした武田氏の進攻が開始され、箕輪城の落城の経緯を記した「箕輪軍記」（「上野国群馬郡箕輪軍記」とも）にも「吉井・河内・上野・白倉・塩川・天引・馬庭・本郷・小幡、右９か所の小城共討取申術也」と記されているように長野氏の勢力は大きく後退して行った。永禄６年（１５６３）頃とされる甲斐武田信玄による本格的西上州攻略の開始によって、吉井地域（吉井城）が当地に所在していた城郭と共に武田氏の支配下に置かれたことなどが推定されるが、当該城郭の所在等に関する史料は見当たらない。

凸武田氏時代（１５６３−１５８２）
　武田氏による支配は凡そ２０年近くに及んだが、吉井地域に所在したと推定される城郭の所在地および城主については全く不明である。

凸後北条氏時代（１５８２−１５９０）
　武田氏の滅亡後は一時織田氏家臣の滝川一益が上野を支配したが、織田信長の死去により再び後北条氏の支配が浸透した。
　「群馬県多野郡誌」「吉井町誌」「日本城郭大系」などの記述を総合すれば、後北条氏の筆頭家臣である松田尾張守憲秀（「吉井町誌」などでは尾張守または康秀とも）の知行地であり、長野氏時代から続くと見られる小規模な城郭が存在していたことも示唆されているものの、その論拠については「大日本地名辞書」（吉田東伍）に「松田尾張守康秀が吉井城にあったともいうが、その詳細は不明である」と記されているのみであり確実といえるような史料は見当たらない。

凸菅沼氏時代（１５９０−１６００）
　「吉井町誌」の記述によれば、吉井の地に菅沼小大膳亮定利（−１６０２）が入城する以前には一面の塚原であったが、城を取立て新しく城下町を整備したといい、その知行石高は１万６千石あるいは２万石ともいわれている。
　しかし徳川家康の関東入府時の江戸城に関する逸話と同様に、当地に関する荒地の状況については割引いて捉える必要も感じられる。なお吉井は当初矢田郷に属し戦国時代の末天正１８年（１５９０）に新たに分郷された旨が地元旧家の「堀越家系図」に記されているという。また、山崎一氏によれば吉井の地にはそれ以前から城郭が存在していたとの指摘もなされている。（菅沼氏時代の「吉井城」については、吉井陣屋の南側一帯と推定をされている）
　慶長５年（１６００）関ヶ原合戦では定利は吉井城から出陣し、その戦功により養子松平忠政（徳川家康の孫）は同年あるいは翌６年に美濃加納城６万石に移封され、菅沼氏の吉井城は慶長１５年（１６１０）に廃城となったという。

凸安藤氏時代（１６１０−１６１９）
　安藤対馬守重信が上州吉井の地５千石を賜ったとされるが、陣屋等の関係については不明。（「吉井町誌」より）

凸堀田氏時代（１６８２−１６９８）
　堀田豊前守正休が上州多胡・緑野・甘楽・武州埼玉の４郡にて１万石を賜り、吉井を居所とした。（「吉井町誌」より）ただし、陣屋等の関係については不明。

凸鷹司松平氏時代（幕末まで続いた「吉井陣屋」の時代、１７５２頃−１８６８）
　宝永６年（１７０９）上野４郡、上総２郡７千石を知行されていた松平（鷹司）信清が上野４郡内に３千石を加増され、領地支配等のために旧吉井城南東矢田川左岸の台地上に矢田陣屋が置かれた。
　そののちの宝暦年間（１７５１−１７６４）に至り、より利便性の高い現在の吉井陣屋へと転居して矢田陣屋は廃城となったものとされている。なお「吉井町誌」の記述によれば、松平氏の陣屋移転は宝暦２年（１７５２）との説もある。
　藩主である鷹司松平氏は江戸定府のため、藩士の大半は江戸屋敷（守赤坂薬研坂）に在住することとなり、矢田陣屋、および後の吉井陣屋ともに代官による領地支配が行われた。鷹司松平氏の支配はそのまま幕末まで継承され、吉井陣屋も拡張存続し明治維新を迎えた。