W ciągu około stu lat, od początku XIX do początku XX wieku, liczba ludności Gliwic wzrosła prawie dwudziestokrotnie. Dotychczasowe, niewielkie cmentarze zostały w tym czasie zapełnione i pojawiła się potrzeba budowy dużego cmentarza miejskiego. W latach 20. ubiegłego wieku Gliwice z rozmachem rozbudowywał Karl Schabik, miejski radca budowlany, architekt i urbanista. Zafascynowany był ideą „miasta–ogrodu”, którą realizował w Gliwicach.
W odpowiedzi na potrzeby funeralne Karl Schabik zaplanował powstanie Cmentarza Centralnego. Miejsce na nową nekropolię miejską wytyczono na zachodnich krańcach ówczesnego miasta przy Coselerstrasse (dziś ulica Kozielska). Budowę rozpoczęto w 1924 roku, a zakończono w 1927. Początkowo cmentarz zajmował niespełna 19,5 ha, później został powiększony do 22.
Cmentarzowi nadano kształt wydłużonego owalu. Wzdłuż jego osi biegnie szeroka aleja główna, od której odchodzą boczne. Regularną całość tworzy szachownicowy układ alejek i kwater. Na Cmentarz Centralny prowadzą trójprzelotowe bramy, zwieńczone trójkątnymi szczytami, w polu których umieszczono łacińskie sentencje. Główną budowlą jest dom pogrzebowy o kształcie wąskiego i długiego prostokąta, ozdobionego pośrodku dachu sygnaturką wieżową z latarnią. Lekkości nadają budowli loggie w przyziemiu. Pierwotnie dom był ozdobiony polichromiami autorstwa Ericha J. Gottschlicha. Do dziś zachowała się część wystroju rzeźbiarskiego cmentarza, tj. grupa Opłakiwania - dzieło Paula Ondruscha.
Drewniany kościół Wniebowzięcia Najświętszej Marii Panny, pochodzący z przełomu XVII i XVIII w., stojący niegdyś na terenie nekropolii, w latach 90. ubiegłego wieku został przeniesiony w pobliże Cmentarza Starokozielskiego. Ozdobą Cmentarza Centralnego jest zasadzona w latach 20. roślinność, która sprawia, iż ma on charakter parku. Piękne aleje utworzono przez świerki pospolite, brzozy brodawkowate, sosny wejmutki i lipy drobnolistne. Liczne są także krzewy żywotnika i różanecznika.