Het Garnizoenshuys is gevestigd in het mooiste deel van het aaneengesloten blok aan de Molenstraat in de historische binnenstad van Coevorden. Het hele gebouw van 87 meter lang en ruim 8 meter breed is een van de vijf kazernes, die in de vestingstad Coevorden waren gebouwd en evenwijdig stonden aan de vestingwal.
Tegenover het huidige Het Garnizoenshuys verrees het Frieseblok (genoemd naar de Friesepoort) met dezelfde afmetingen. Alle vijf blokken dateerden uit de tijd van de aanleg van de vesting omstreeks 1610.