Den ældste borg i Varde lå vestligt på den nordlige bred af Varde Å, på en 7 meter høj banke, hvorpå der stod et kvadratisk 7,5x7,5 meter solidt bygget trætårn. Borgen blev vist bygget af eller overdraget til hertug Wilhelm af Lüneburg, hvorefter den var under tysk herredømme og fra 1296 under de holstenske grever. [4]
Voldstedet blev 1788 jævnet af krigsråd og købmand Peder Landrup, som indberettede dette til oldsagskommissionen.
Omtalt i 1100-tallet som kongelig bryde i Varde.
Gift 1202 med Valdemar Sejrs søster Helene og fik som medgift Varde Syssel, eller dele deraf.
Omkring år 1300 flyttedes Vardehus til en holm syd for åen og befæstedes, hvor borgbanken endnu ses tæt ved den nuværende bro. Ved udgravninger fandtes fundamentet til en bygning på 7x18 meter. Ladegården lå på en nærliggende banke, som i 1800-tallet gravedes bort ved regulering af åen. [5]
Var 1368 lensmand på Riberhus (sammen med sønnerne) og pantsatte 1368 tolden af Ribe by, hvoraf fremgik, at Varde by normalt hørte under Riberhus Len.
Nævnt 1375 som lensmand på Riberhus, Skodborghus og Vardehus.
Var 1368-1372 høvedsmand på Riberhus, sammen med faderen og alene fra 1378 til sin død. [6] [7] [8]
Modstod 1372 Valdemar Atterdags belejring af Tørning og sluttede fred 1373, hvorefter han havde en tid havde Tønder Slot i forlening.
Havde hele Varde Syssel og Ribe by i pant. Stiftede 1388 et alter i Ribe Domkirke, købte 1392 Hundsbæk og fik 1394 Gram Herred med Tørning og Gram i forlening.
Faldt 1404 sammen med grev Gerhard 6. af Holsten i toget til Ditmarsken og blev begravet i Meldorf.
Nævnt som lensmand fra 1433 indtil borgens ødelæggelse 1439, og samme år på Trøjborg.
Vardehus ødelagdes 2. april 1439 af hovbønderne, da lensmanden ikke ville udlevere dem korn efter en dårlig høst. Som straf indtog rigsrådets soldater Varde og brændte byen af. Vardehus genopførtes ikke, men ladegården benyttedes af lensmanden indtil 1511.
Varde modtog 1442 købstadsrettigheder af Christoffer af Bayern, som 1440 var tiltrådt som konge.
Ladegården solgtes 1511 til privat eje.
I 1542 blev Vardehus og Vester Horne Herred indlemmet i Riberhus Len.
Ladegården beboedes omkring 1560 af en frue af Juel-slægten. [9]