Židé si velmi brzy vytvořili svou vlastní obec, nicméně ta nemohla po dlouhou dobu zesílit; nemohli se stát nezávislými, protože si nesměli kupovat ani domy ani pozemky. Aby toho nebylo málo, jejich velmi skromná modlitebna byla v roce 1804 vypálena a poté, při požáru města v roce 1840, byla zničena i jejich nově vybudovaná synagoga.
Ačkoliv jejich domy a obchody lehly popelem, začali znovu od začátku, a společně s ostatními obyvateli vybudovali nové město Baja. Město prosperovalo díky řemeslům a významnému obchodu se dřevem, obilím, vlnou, kůží a dobytkem. Židovské obyvatelstvo začalo obchodovat s posledně jmenovanou komoditou, přičemž jejich nově nabytá náboženská a politická emancipace jim pomohla k rozvoji a prosperitě. Bok po boku rozvíjeli svou sounáležitost kolem synagogy. Na pozemku vedle synagogy byla také vybudována židovská škola.
Hlavní rabín Kohn Schwerin Götz se obrátil na své bývalé studenty a přátele v zahraničí s prosbou o pomoc s vybudováním nové synagogy. Jeho úsilí přineslo ovoce: stavba v neoklasicistním slohu byla dokončena o pět let později, v roce 1845. Synagoga v Baje byla tehdy jedinou maďarskou synagogou, v níž se konaly bohoslužby v maďarském jazyce. V budově bývalé synagogy nyní sídlí knihovna, což není zvnějšku rozpoznatelné.