Pierwsze wzmianki o synagodze w Oświęcimiu pochodzą z roku 1588. Prawdopodobnie początkowo synagoga była drewniana. Na przestrzeni wieków świątynia wielokrotnie ulegała zniszczeniu, np. w pożarach, które nawiedziły miasto w 1711 i 1863 r. Po ostatnim z nich, funkcjonowała już jako budowla murowana.
Synagoga z końca XIX w. miała 2000 miejsc i zwana była Wielką, ponieważ pełniła funkcję reprezentacyjną lokalnej gminy żydowskiej. Jej sylwetka wyróżniająca się w panoramie Oświęcimia, określała pozycję lokalnej gminy żydowskiej. Wokół niej skupiało się życie religijne lokalnej społeczności żydowskiej, z położoną nieopodal siedzibą gminy oraz instytucjami religijnymi.
Do Wielkiej Synagogi uczęszczała w dużej mierze postępowa inteligencja żydowska (m.in. lekarze, prawnicy, przedsiębiorcy, urzędnicy), w niewielkim zaś stopniu tradycjonaliści (ortodoksi i chasydzi).
Podczas II wojny Niemcy spalili synagogę (29-30 listopada 1939), a jej zgliszcza zostały całkowicie rozebrane.
W 2004 roku archeologowie z Uniwersytetu Mikołaja Kopernika w Toruniu przeprowadzili w miejscu po Wielkiej Synagodze prace wykopaliskowe, podczas których odkryli ponad 400 elementów stanowiących część jej przedwojennego wyposażenia, w tym m.in.: lampkę Ner Tamid (hebr. wieczne światło) oraz szereg świeczników i żyrandoli.