První židovští vězni přijeli do terezínského ghetta v listopadu 1941. Byli ubytováni v Sudetských kasárnách. Jednalo se o transport Ak I tvořený 342 mladými muži, který přijel z Hybernského (dnešního Masarykova) nádraží v Praze do Bohušovic nad Ohří. Po příjezdu šli vězni pěšky do Terezína.

V transportu Ak I byli vězni, kteří předtím pracovali jako řemeslníci a dělníci (svářeči, tesaři, truhláři, elektrikáři, zedníci apod.). Jejich úkolem bylo připravit jedenáct terezínských kasáren k ubytování dalších vězeňských transportů.

Od roku 1943 byla v Sudetských kasárnách umístěna část archivu berlínského Hlavního úřadu říšské bezpečnosti (RSHA).

Po útěku nacistického velitelství ghetta v květnu 1945 zde byla zřízena nemocnice, a to v souvislosti s likvidací epidemie skvrnitého tyfu, která v Terezíně na konci války vypukla. Tuto tragickou situaci zde řešili lékaři a ošetřovatelky České pomocné akce, ke kterým se později přidali zdravotníci sovětské armády.