Za okupace byl dům zabaven protektorátní státní správou. Židovská obec přestěhovala své kanceláře nejprve do dnešní ulice kpt. Jaroše, poté do bytu na tehdejší adrese Koliště 17. Následně byla většina brněnských židů zavražděna v nacistických vyhlazovacích táborech.
Po osvobození byl dům zdráhavě restituován, navrácen židovské obci. Po komunistickém převratu a v atmosféře obnoveného protižidovského štvaní v rámci "boje se sionismem" jej v padesátých letech dvacátého století převzal československý stát.
Budovu využíval Městský ústav národního zdraví. Dům byl prohlášen za kulturní památku, později byla jeho památková ochrana zrušena. Po pádu komunistického režimu Ústavní soud na popud České správy sociálního zabezpečení zamítl stížnost Židovské obce Brno, která se domáhala restituce domu. Dle názoru soudu židovská pospolitost dům před 25. únorem 1948 nevyužívala a proto na jeho restituci nemá nárok.