Karłuszowiec przez wiele stuleci był samodzielną osadą i dopiero przed stuleciem został włączony w granice Tarnowskich Gór. Obecnie jest dzielnicą, położoną na południe od centrum miasta. Dzieje Karłuszowca sięgają XVII wieku, kiedy Aleksander Cucher (lub Kuszer) nabył tutejszy majątek i zorganizował duży folwark. Później przejęła go prawdopodobnie niejaka Bekerowa z Baumgardtów, od której imienia włości zyskały nazwę „Dorota”.
Przełomowym momentem w historii miejscowości był jej zakup przez hrabiego Franciszka Ludwika z bytomskich Henckel von Donnersmarcków. Ten możny ród, w wyniku wojen śląskich pomiędzy Prusami i Austrią został pozbawiony swej siedziby w ratuszu bytomskim i zmuszony do poszukiwania nowej. Wybór padł na majątek położony pod Tarnowskimi Górami, który z czasem nazwano (na cześć jednego z Donnermarcków) Carlshoffem, czyli Dworem Karola. Stąd wzięła się nazwa Karłuszowiec.
Franciszek Ludwik mieszkał w Karłuszowcu z żoną, następnie pałac odziedziczył brat hrabiego – Łazarz III. Ten na rodową siedzibę wybrał Siemianowice, dlatego karłuszowiecka rezydencja stała się domem dla rodzin spokrewnionych z Donnersmarckami oraz miejscem pracy dla zarządu dóbr hrabiego. Po drugiej wojnie gmach został zagospodarowany przez szkoły.
Obecnie w pałacu mieści się Zespół Szkół Artystyczno-Projektowych. Pałac w Karłuszowcu jest obiektem późnoklasycystycznym, w części jedno-, a w części dwupiętrowym. Całość jest bardzo elegancka i odnowiona. Od południa do pałacu przylega park, w którym znajdziemy dwie późniejsze budowle, zajmowane obecnie przez przedszkole i szpital. Obok bramy wejściowej na teren pałacu stoją dwie XVIII-wieczne figury świętych: Jana Nepomucena i Floriana, ufundowane przez żonę hrabiego Franciszka Ludwika.