L'augmentation de la population juive dans la capitale luxembourgeoise a nécessité la construction d'une nouvelle synagogue. Lors du recensement de 1890, le nombre de Juifs dépassait 1 000 personnes. Près de la moitié d’entre eux vivaient dans la capitale. L'ancienne synagogue n'avait pas une capacité suffisante et ne répondait pas aux mesures de sécurité de base pour le nombre croissant de personnes. La communauté juive organisa une collecte dans laquelle environ 50 000 francs furent récoltés, le reste fût collecté avec le soutien de la ville de Luxembourg. Toute la période de construction s’est accompagnée d'une discussion houleuse sur le montant des aides financières redistribués.
La synagogue pouvait accueillir 300 personnes et elle a été inauguré le 28 septembre 1894 par le grand rabbin Isaac Blumenstein et des membres du gouvernement et du conseil communal. Les Juifs vivaient dans un quartier diversifié et, selon les témoignages, ils se sentaient complètement intégrés dans la société luxembourgeoise. Les enfants juifs fréquentaient des écoles non-juives et les Juifs n'avaient pas à vivre dans des quartiers séparés. En plus de l'école ordinaire, les enfants juifs allaient au cheder, une école juive spéciale organisée deux fois par semaine à la synagogue. En mai 1941, la synagogue a été fermée au public et progressivement démolie jusqu'en 1943.