Prvič ga pisno omenjajo leta 1404, ko je bil še v posesti krške škofije. Upravljali so ga vitezi Bizeljski. Leta 1441 se omenja kot 'geslos Visel' in leta 1475 kot 'castrum Visl'. Leta 1532 so bizeljski grad dobili v fevd Tattenbachi in ga leta 1608 kupili v dedno last. Od tedaj naprej pa so se lastniki pogosto menjavali. Zadnji so bili Windischgratzi. Notranje arkadno dvorišče je obdano z štirimi stanovanjskimi trakti, ki so utrjeni z dvema visokima okroglima stolpoma. To srednjeveško grajsko zasnovo so v renesansi posodobili in ji leta 1623 ob vhodu prizidali kapelo svetega Hieronima z bogatim baročnim oltarjem. Obok kapele in tri sobe v nadstropju so okrašene s štukaturo iz tretjega desetletja XVIII. stoletja.

Grad je bil toliko utrjen in oborožen, da je kljuboval vsem turškim napadom. Med slovensko-hrvaškim kmečkim uporom leta 1573 so mu kmetje prizanesli, saj so na gradu dobivali orožje in denar.
Zadnji grajski lastniki grofje Windischgratzi so že v XIX. stoletju z gradu odnesli na Moravsko vse dragocenosti kot so orožje, slike in arhiv.