Parafia św. Józefa należała niegdyś do parafii św. Barbary w Królewskiej Hucie i została z niej wydzielona w 1912 r. Inicjatorem budowy kościoła był ks. Paweł Łukaszczyk, proboszcz parafii św. Barbary. Plany architektoniczne sporządził prof. Joseph Schmitz z Norymbergii.
W dniu 16 października 1904 r. położono kamień węgielny pod budowę kościoła, w 1905 r. założono fundamenty i wzniesiono ściany. Budowę prowadzono 3 lata. Kościół został poświęcony ku czci Bożej i swego patrona św. Józefa, Opiekuna i Orędownika Kościoła. Nową świątynię pobłogosławił ks. dziekan Wiktor Schmidt z Katowic 18 listopada 1907 r. Parafia jednak, kanonicznie erygowana została dopiero 9 stycznia 1913 r. Uroczystej konsekracji kościoła dokonał 14 kwietnia 1915 r. ks. Adolf Bertram, biskup wrocławski.
Kościół zbudowany został w stylu neoromańskim z cegły miejscowej sprowadzonej z Rudy (cegła duża formatu klasztornego), natomiast wszystkie elementy dekoracyjne wykonano ze sztucznego kamienia zostały sprowadzone z Bawarii. Pierwotnie kościół posiadał polichromię malowaną przez malarza Platzka z Kluczborka. Mozaiki apostołów pochodzą z pracowni Franciszka Hofstaedtera z Monachium. Architekt Joseph Schmitz zaprojektował też całość dekoracji rzeźbiarskich elewacji kościoła, które wykonał rzeźbiarz Josef Kopf z Monachium. Ołtarze wykonane zostały w firmie Schneidera w Regensburgu. Dzwony pochodziły z odlewni Ottona z Hemelingen koło Bremy. W wyniku rabunkowych działań wojennych zostały zabrane dzwony: „Maria”, „Paweł” i „Edward”. Zostały tylko dwa: „Józef” i „Jan”. Dwa brakujące dzwony „Barbara” i „Florian” zostały zainstalowane w kościele w 1979 r. W wieży znajduje się mechanizm zegara „J. F. Wuelebockenem 1907”. Na chórze znajdują się czterdziestopięciogłosowe organy firmy Martin Binder & Sohn wybudowane w 1907 r. Witraże w oknach kościoła pochodzą w większości z pracowni Zettlera z Monachium. Zostały one w latach 90-tych odrestaurowane przez firmę Damiana Szyszki z Pszczyny.