Az első említés a tállyai zsidó közösségről 1701-ből származik; betelepülésük a század közepétől gyorsult fel. Az 1820-30-as években már rendelkeztek mikvével (rituális fürdő), héderrel (elemi iskola) és Chevra Kadishával (temetkezési társasággal). Az első zsinagóga, vagy inkább közösségi ház 1817-ben épülhetett. A közösség létszámának növekedése miatt szükség volt nagyobb templomra, így épült meg 1840-ben az ortodox közösség zsinagógája. Egyes források három zsinagógáról szólnak, ám 1909-ben már csak az ortodox zsinagógát említik a források. A térségben igen erős volt a haszidizmus jelenléte, de a tállyai rabbi, Jakov Tannenbaum inkább a reformer és ultraortodox irányzat között állt.
A zsinagóga stílusa a környék településeinek, például Mád és Tarcal zsinagógáinak stílusát követte. Különleges darabja volt Tóra-szekrénye, mely Paszternák Simon visszaemlékezése szerint lépcsős kőalapzaton foglalt helyet korinthoszi oszlopokkal, a két kőtáblát faragott oroszlánok vették körbe.
A zsinagógát a zsidók elhurcolása után terményraktárnak és istállónak használták, majd elhagyatottan állt. A visszatérő túlélők 1947-ben helyreállították, de mivel hamarosan a zsidó közösség még kevés életben maradt tagja is elhagyta Tállyát, a gazdátlanná vált épületet 1964-ben teljesen lerombolták. Az épületre elhelyezett emléktáblát és a Tóra-szekrényt a bontás előtt kimenekítették az épületből, ezeket ma a Magyar Zsidó Múzeum és Levéltár őrzi meg az utókor számára.