Ein Vorläufer des Schlosses war die Stadtburg, die in schriftlichen Quellen bereits im Jahre 1439 erwähnt wird. Nach der Zerstörung der Burg Landek Ende des 15. Jahrhunderts wurde das Verwaltungszentrum in die Stadt verlegt und es folgte der Umbau der hiesigen Burg in ein moderneres Schloss. Dies geschah um die Wende vom 15. zum 16. Jahrhundert, während der Herrschaft von Baltazar Vlček von Guttenland und insbesondere von Bernhard von Zwole (Besitz 1518–1536) und seinen Nachfolgern. Damals wurde die Burg in ein mehrstöckiges Gebäude mit drei Flügeln im Renaissancestil umgebaut. Der nordöstliche Flügel wurde Ende des 16. Jahrhunderts hofseitig im ersten Stock um Arkaden ergänzt und wahrscheinlich zur gleichen Zeit wurde auch der hohe steinerne Uhrturm gebaut. Auch wenn das Schloss in folgenden Jahrhunderten immer wieder renoviert wurde, hatten die Besitzer nie die Ambition, dem Schloss eine anspruchsvolle architektonische Gestalt zu geben. Dies belegt die Absenz von opulenten Steinelementen und architektonischen Details.
Im 19. Jahrhundert begann eine Reihe von negativen und destruktiven Eingriffen, die dem Schloss die Attribute eines Adelssitzes nahmen. Graf August von Poser und Groß-Nädlitz ließ im Jahre 1808 den Schlossturm abreißen und den Steinbrunnen im Innenhof demontieren. Wahrscheinlich wurden auch die Arkaden vermauert. Nachdem der Herrenhof im Troppauer Vorort im Juli 1811 ausgebrannt war, entschied sich der damalige Eigentümer des Landbesitzes, Jan Miketta, den barocken Teil des Schlosses (der südliche und westliche Flügel wurden um das Jahr 1733 angebaut) zu zerlegen und aus dem Material neue Gebäude des Wirtschaftshofes bauen zu lassen. Während der Septemberrevolution 1848 wurde das Schloss von Stadtbewohnern ausgeplündert.
Schon seit dem 18. Jahrhundert hatte das Schloss keine Residenzfunktion mehr inne, sondern diente als Verwaltungssitz. Es gab hier Wohnungen für Beamten und andere Angestellte. Weitere Räume wurden von Rothschild an verschiedene öffentliche Institutionen vermietet. Bis Ende des 20. Jahrhunderts waren hier abwechselnd Ämter, das Caritasheim, das Gericht, die Polizeiabteilung und die Berufsschule untergebracht. Erst seit dem Jahre 1999 wird das Objekt von der Stadt verwaltet und nach den notwendigen Sanierungen in den Jahren 2002–2007 wurde das Schloss zum Sitz kultureller städtischer Institutionen (Museum des Hultschiner Ländchens, Kunstschule, Stadtbibliothek).
