Budowę hulczyńskiego sierocińca dla chłopców zainicjowali trzej synowie barona Anselma Salomona Rothschilda (1803-1874): Nathaniel Mayer (1836-1905), Ferdinand James (1839-1898) i Salomon Albert (1844-1911). Na cześć ich przedwcześnie zmarłej matki Charlotte nosił jej imię. Charlotte (1807-1859) była córką wujka Anselma, Nathana Mayera z londyńskiej gałęzi rodziny. Anselm ożenił się z nią we wrześniu 1826 roku.
Sierociniec powstał na południe od zamku, w najbardziej wysuniętej części parku zamkowego w pobliżu kościoła św. Jana Chrzciciela. Jest to dwukondygnacyjny późnoklasycystyczny budynek o symetrycznym układzie z centralnie wzniesionym ryzalitem zwieńczonym niskim trójkątnym szczytem. Położenie na zboczu terenu miało wpływ na układ. Główne wejście od strony zamku umożliwiało odwiedzającym wejście bezpośrednio na piętro, natomiast na parter można było dostać się od strony ogrodu. Na parterze zastosowano rustykę pasową. Fasady były gładkie, podzielone poziomo tylko gzymsem podokiennym i kordonowym. Okna obramowano prostymi ościeżnicami, a wykusze uzupełniono gzymsami nadokiennymi. Portal wejściowy podkreślał gzyms wsparty na dwóch wspornikach. W szczycie umieszczono rzeźbiony herb Rothschildów, w towarzystwie noszących tarczę, czyli lwa i jednorożca.
Autor projektu jest nieznany. Mógł to być jeden z projektantów pracujących dla Rothschildów w Witkowicach, być może z rodziny budowniczych Krausów, ponieważ budynek posiada elementy podobne do zamku w Witkowicach (Anton Kraus, 1847-1848).
Wychowankowie sierocińca otrzymywali pożywne jedzenie, odzież (mundurki), a o ich edukację dbała miejscowa szkoła. Po szkole pracowali w ogrodzie, w wolnym czasie mogli bawić się na placu zabaw i poświęcać się gimnastyce. W placówce przebywali do 14 roku życia.
W latach 1920-1925 budynek służył jako tymczasowa siedziba nowo powstałego gimnazjum, później mieścił się w nim urząd skarbowy. Od lat 50. funkcjonuje jako Dom Pionierów i Młodzieży, a w latach 1973-1974 został radykalnie przebudowany dla tych celów. Jednak większość cennych elementów architektonicznych i detali została utracona podczas adaptacji w latach 50.
