Żydzi szybko utworzyli własną społeczność, która jednak przez długi czas nie była w stanie się rozwijać: nie mogli oni stać się niezależni, z powodu braku pozwolenia na zakup domu czy ziemi. Co gorsza, w 1804 roku ich niewielka świątynia padła ofiarą podpalenia, zaś nowo wybudowana synagoga wraz z dużą częścią miasta uległy zniszczeniu w pożarze w 1840 roku.
Spłonęły domy modlitwy, sklepy i domy, a mimo to zaczęli od nowa i razem z resztą miasta odbudowali Baję. Miasto rozwijało się dzięki rzemieślnikom i handlowi, a także dobrze rozwiniętemu handlowi drewnem, zbożem, wełną, skórami i bydłem.Tym ostatnim ludność żydowska rozpoczęła handel, poszerzając stopniowo swoją działalność równocześnie z nowo uzyskaną emancypacją religijną i polityczną, która przyczyniła się do ich rozwoju i dobrobytu.Stawiali swoje zakłady jeden przy drugim, obok synagogi. Na gruncie obok synagogi powstała też szkoła żydowska.
Naczelny rabin Kohn Schwerin Götz zaapelował do swoich byłych uczniów i przyjaciół z zagranicy o pomoc w budowie nowej synagogi. Jego starania przyniosły oczekiwany rezultat: neoklasycystyczna świątynia została otwarta pięć lat później, w 1845 roku, a uroczystość inauguracyjna po raz pierwszy w historii węgierskich synagog odbyła się w języku węgierskim. Obecnie w budynku dawnej synagogi mieści się biblioteka, chociaż na pierwszy rzut oka tego nie widać.