Poprzednikiem zamku był wcześniejszy zamek miejski, udokumentowany już w 1439 roku. Dopiero po zniszczeniu zamku Landka pod koniec XV wieku, gdy centrum zarządzania latifundium przeniosło się do miasta, zamek został przebudowany na bardziej nowoczesny. Stało się to na przełomie XV i XVI wieku za czasów Baltazara Vlčka z Dobrej Zemicy, a zwłaszcza później za Bernarda ze Zvole (1518-1536) i jego następców. W tym czasie zamek przybrał formę dwukondygnacyjnego trójskrzydłowego budynku z elementami stylu renesansowego. Pod koniec XVI wieku północno-wschodnie skrzydło zostało uzupełnione od strony dziedzińca o arkadę na piętrze, a być może wybudowano wówczas także wysoką kamienną wieżę zegarową. Chociaż modyfikacje trwały w następnych stuleciach, właściciele zamku nigdy nie mieli ambicji nadania tutejszej rezydencji bardziej wymagającej formy architektonicznej. Świadczy o tym brak bogatszych elementów kamiennych i detali architektonicznych.
Seria zniszczeń i negatywnych ingerencji, które zubożyły zamek o jego atrybuty jako rezydencji szlacheckiej, rozpoczęła się w XIX stuleciu. W 1808 roku hrabia August von Poser-Nädlitz kazał zburzyć wieżę zamkową i rozebrać kamienną fontannę na dziedzińcu, natomiast arkady prawdopodobnie zostały zamurowane. Po tym, jak w lipcu 1811 roku spłonął dwór na przedmieściach Opawy, ówczesny właściciel latyfundium, Jan Miketta, postanowił rozebrać barokową część zamku (południowe i zachodnie skrzydła zbudowane około 1733 roku) i odbudować z tego materiału zabudowania folwarczne. Podczas rewolucji wrześniowej 1848 roku zamek został splądrowany przez mieszkańców miasta. Następnie Rothschildowie odrestaurowali go, ale oprócz klatki schodowej i dawnego korytarza arkadowego nie dokonano żadnych znaczących zmian.
Od XVIII wieku zamek nie pełnił funkcji mieszkalnej, lecz służył jako siedziba administracyjna latyfundium i zarządu. Znajdowały się tutaj mieszkania dla urzędników i innych pracowników. Rothschildowie wynajmowali inne lokale różnym instytucjom publicznym. Do końca XX wieku mieściły się tu kolejne urzędy, dom charytatywny, sąd, wydział bezpieczeństwa publicznego i ośrodek kształcenia zawodowego. Dopiero w 1999 roku miasto przejęło zarząd nad budynkiem, a po niezbędnej rekonstrukcji w latach 2002-2007, zamek stał się siedzibą miejskich instytucji kulturalnych (Muzeum Ziemi Hulczyńskiej, Podstawowej Szkoły Artystycznej i Biblioteki Miejskiej).
