Parafia św. Józefa powstała w 1928 r. i została wydzielona z parafii Świętej Trójcy w Bytomiu. Inicjatorem budowy kościoła był ówczesny proboszcz parafii Świętej Trójcy, ks. prałat Augustyn Świerk. Teren pod budowę kościoła ofiarował parafii hrabia Henckel von Donnersmarck. Budowę kościoła realizowano wg projektu architekta Theodora Ehla. Kamień węgielny położono 16.10.1927 r., a uroczysta konsekracja odbyła się 21.10.1928 r. Dokonał jej kard. Adolf Bertram.
Od tego momentu parafia prowadzi księgi chrztów, ślubów i zgonów.
Nawa boczna z lewej strony posiada kaplicę, która w początkowym okresie użytkowania stanowiła baptysterium. Po przeniesieniu chrzcielnicy w pobliże prezbiterium urządzono w niej kaplicę poświęconą Matce Bożej Częstochowskiej.
Na wieży w 1960 r. zawieszono trzy dzwony w miejsce pierwotnych czterech dzwonów z 1928 r., które zostały w czasie II wojny światowej zarekwirowane przez armię niemiecką. Ołtarz główny z figurą św. Józefa z kilkunastoletnim Panem Jezusem u boku (autorstwa rzeźbiarza F. Schinka) postawiono i poświęcono 23.01.1929 r. W grudniu 1929 r. ustawiono i poświęcono ołtarz św. Barbary autorstwa bytomskiego rzeźbiarza Waltera Tuckermanna.
Od czasu wybudowania świątyni do marca 2016 roku pełnił on rolę kościoła parafialnego i przeznaczony był do kultu religijnego i organizowania działalności duszpasterskiej. Zmieniła się jednak bardzo istotnie sytuacja parafii. Z uwagi na skutki działalności górniczej wyburzono niemal wszystkie obiekty mieszkalne w pobliżu kościoła, przestała istnieć dzielnica Dąbrowa Miejska, a większość parafian przesiedlono do innej dzielnicy Bytomia na osiedle Stroszek.
W związku z decyzją biskupa gliwickiego o wybudowaniu nowego kościoła w nowej lokalizacji, korzystnej dla parafian (przy ul. Strzelców Bytomskich 187), dalsze użytkowanie kościoła w celach duszpasterskich przestało być zasadne. W grudniu 2015 r. zakończono budowę nowego kościoła i rozpoczęto jego użytkowanie. 19 marca 2016 r. Biskup Gliwicki Jan Kopiec dekretem dokonał aktu ekssekracji starej świątyni. W tym dniu odprawiono po raz ostatni Mszę św. w tym kościele. Wyposażenie ruchome (m.in. organy – autorstwa Carla Berschdorfa, figury, stacje drogi krzyżowej, ołtarze boczne, chrzcielnica, krzyż) zostało przeniesione do nowej świątyni i włączone do aranżacji wnętrza.
