Prví židovskí väzni prišli do terezínskeho geta v novembri 1941. Boli ubytovaní v Sudetských kasárňach. Išlo o transport Ak I, ktorý pozostával z 342 mladých mužov, ktorí prišli z Hybernskej (dnes Masarykovej) železničnej stanice v Prahe do Bohušovíc nad Ohří. Po príchode sa väzni presunuli do Terezína.

V Ak I boli väzni, ktorí predtým pracovali ako remeselníci a robotníci (zvárači, tesári, stolári, elektrikári, murári atď.). Ich úlohou bolo pripraviť jedenásť terezínskych barakov na ďalšie transporty väzňov.

Od roku 1943 sa v Sudetských kasárňach nachádzala časť archívu berlínskeho Hlavného úradu ríšskej bezpečnosti (RSHA).

Po úteku nacistického velenia geta v máji 1945 tu bola zriadená nemocnica v súvislosti s likvidáciou epidémie škvrnitého týfu, ktorá v Terezíne vypukla na konci vojny. Túto tragickú situáciu tu riešili lekári a zdravotné sestry českej pomocnej akcie, ku ktorým sa neskôr pridali aj zdravotníci sovietskej armády.