Comme le montre la plaque commémorative, cette maison a été témoin de la décision de déportation forcée de 1 300 Juifs. Les lois de Nuremberg ont été introduites au Luxembourg le 5 septembre 1940, suivies de plusieurs autres ordonnances anti-juives. Dans la pratique, cependant, les Juifs ont été encouragés à quitter le pays. Des restrictions juives ont suivi, y compris l'exigence en septembre 1941, que tous les Juifs portent un badge avec une étoile jaune avec le mot « Jude » dessus.
Dans la Villa Pauly, de nombreuses personnes ont subi des tortures et des traitements dégradants, c'est pourquoi le bâtiment est devenu un symbole de l'oppression nazie. En raison du mauvais état du bâtiment, le Dr Norbert Pauly n'est pas retourné à la villa après la guerre. Le 11 août 1989, la Villa Pauly est déclarée monument historique. De la fin des années 1990 à 2016, il a servi de siège au Comité directeur pour le souvenir de la résistance. Il abritait également le Centre de documentation et de recherche sur la Résistance au Luxembourg. Il abrite aujourd'hui une résidence du Comité pour la mémoire de la Deuxième Guerre mondiale et la Fondation luxembourgeoise pour la Mémoire de la Shoah.