Pierwsze wzmianki o osiedlaniu się Żydów w Gliwicach pochodzą z XVII wieku. W XVIII wieku mieszkało tutaj kilkanaście żydowskich rodzin. W 1812 roku wybudowali oni swoją pierwszą synagogę. Trzy lata później założono najstarszy cmentarz – przy obecnej ul. Na Piasku. Do dziś przetrwało około 500 nagrobków, wykonanych najczęściej z piaskowca. Najokazalsze jest neoklasycystyczne mauzoleum rodziny Meyerów. Na Piasku pochowano wielu członków znanej rodziny Troplowitz.
Żydzi w Gliwicach z początku byli nieliczni, z czasem jednak ich liczba wzrosła, podobnie jak pozycja społeczna. Pierwsza informacja źródłowa o ich obecności w mieście pochodzi z końca XVII wieku. W 1698 roku ochrzciła się mianowicie osiemnastoletnia Żydówka Anna Maria Renata. W następnym stuleciu mieszkało tutaj już kilka rodzin wyznania mojżeszowego, które zajmowały się m.in. wyszynkiem. Po przejściu Śląska we władanie Królestwa Prus, wszystkim Żydom nakazano początkowo osiedlić się na wschód od Odry i to wyłącznie na terenach wiejskich. Rozporządzenie to wkrótce zmieniono i za pożądane miejsce osiedleńcze uznano śląskie miasta. Sytuacja pruskich Żydów zmieniła się diametralnie w 1812 roku, kiedy to wydano edykt emancypacyjny.
W roku 1812 stanęła pierwsza synagoga w Gliwicach. Po trzech latach założono cmentarz żydowski. W mieście mieszkało wtedy niespełna 200 osób narodowości żydowskiej. Z czasem wśród nich było coraz więcej urzędników, inżynierów, czy wreszcie przedsiębiorców. Cmentarz żydowski umiejscowiono na nieco ponad półhektarowej parceli, nabytej jeszcze pod koniec XVIII wieku. Ostatni pochówek odbył się w 1937 roku. Do tego czasu pochowano tutaj około 1400 zmarłych, zachowało się natomiast około 500 nagrobków. Większość z nich to macewy, wykonane z piaskowca i przez to silnie zniszczone. Najstarsze pochodzą z lat 20. XIX wieku. Inskrypcje wykonano po hebrajsku i po niemiecku.
Uwagę zwraca grobowiec rodziny Meyerów z 1900 r. w formie nawiązującej do tradycyjnego ohelu. Najbardziej znanymi osobami pochowanymi „Na Piasku” są przedstawiciele rodziny Troplowitz, z której wywodził się Oscar Troplowitz, twórca receptury kremu „Nivea”. Leży tu także rodzeństwo Edyty Stein, znanej bardziej jako św. Teresa od Krzyża. Przy głównym wejściu na cmentarz żydowski znajdują się ruiny domu przedpogrzebowego. Nekropolię ostatecznie zamknięto w 1953 roku. Nowy cmentarz żydowski w Gliwicach założono na początku XX wieku.