Prvé zmienky o synagóge, ktorá bola známa ako Veľká synagóga v Osvienčime, pochádzajú z roku 1588. Budovu pravdepodobne postavili z dreva a dvakrát ju zničil požiar (v rokoch 1711 a 1863). Po druhom požiari budovu zrekonštruovali s použitím kameňa.
Na konci 19. storočia mala synagóga až 2.000 miest na sedenie, a stala sa tak známou ako Veľká synagóga. Monumentálna budova bola výrazným prvkom predvojnovej panorámy Osvienčimu a mala reprezentovať postavenie miestnej židovskej komunity. Bola centrom židovského náboženského života, obklopená kehilou (hebrejský výraz pre židovskú komunitu) a ďalšími náboženskými inštitúciami.
Bohoslužby v synagóge navštevovali predovšetkým poprední členovia židovskej komunity ako lekári, doktori, právnici, podnikatelia a úradníci. Bežní členovia komunity ju navštevovali menej.
Po okupácii Osvienčimu Nemci Veľkú Synagógu v noci 29. novembra 1939 podpálili, zničili a jej zvyšky zrovnali so zemou.
V roku 2004 skupina archeológov z univerzity v Toruni v Poľsku viedla na tomto mieste archeologický výskum a našla viac ako 400 artefaktov, ktoré boli súčasťou vybavenia Veľkej synagógy. Bol medzi nimi aj ner tamid (večné svetlo), množstvo svietnikov a lustrov.