По генеральному плану застройки города 1781 года на берегу Волги, вблизи Московской заставы была выстроена деревянная гауптвахта. Гауптвахта — главный караул, позже в Русской армии — караульный дом, то есть место для размещения личного состава главного караула. В Костроме со времён средневековья всегда размещался сильный гарнизон — стрельцы, пушкари и пищальники, затем, с XVIII века, Старо-Ингерманландский мушкетерский полк, Черниговский мушкетёрский полк и другие. Так как развод главного караула это захватывающие зрелище, то и караульный дом размещали на главных площадях городов, а проектированием и строительством этих зданий занимались знаменитые архитекторы.
Современное здание возведено вместо обветшавшей деревянной гауптвахты в 1823 — 1826 годах по проекту губернского архитектора П. И. Фурсова по инициативе губернатора К. И. Баумгартена (1768−1831).
Гауптвахта была спроектирована Фурсовым в едином ключе с пожарной каланчой: оба здания являются фасадами городских кварталов в направлении Ипатьевского и Анастасиино-Богоявленского монастырей. Лепнина выполнена по эскизам П. И. Фурсова талантливым ярославским мастером С. С. Повырзневым "со товарищи". Фурсов по завершению строительства в мае 1826 года отмечал:
построено во всех частях наилучшим образом... верно сочиненному для сего плану, фасаду и профилю ... надобно устроить ограду при острых углах, входящих в площадь, через что здание получит связь с другими строениями и... сей полигон получит надлежащую картину.
C момента постройки и до начала XX века здание гауптвахты использовалось по своему прямому назначению – как место пребывания личного состава главного караула. В 1847 году оно сильно пострадало от пожара, который уничтожил и его ограду. В течение всего XIX века здание подвергалось изменениям: к заднему фасаду была сделана каменная пристройка, на торцовых фасадах пробито несколько новых окон.
В первые годы советской власти здание было передано в ведение губернского музея, позже в нём располагались другие учреждения (библиотека, городской ЗАГС). В 1954 году здание было отреставрировано Костромской специализированной научно-производственной реставрационной мастерской (рук. К. Г. Тороп, арх. И. Ш. Шевелёв) с воссозданием ограды по чертежу 1834 года без литых двуглавых орлов над колоннами ограды.
С 1996 года здание бывшей Гауптвахты занимает литературный, а в настоящее время — военно-исторический отдел Костромского музея-заповедника. 7 мая 2010 года в памятнике открыт Зал воинской славы Костромской области.
Архитектура гауптвахты отличается торжественностью и монументальностью форм. Оштукатуренное одноэтажное здание с антресолями покрашено светлой охрой, детали побелены.
Здание гауптвахты по своим пропорциям производит впечатление аттика, поставленного на землю. Главный фасад имеет мощный дорический портик с шестью колоннами и триглифным фризом. Центр сооружения акцентирован экседрой с пятью арочными нишами, затененность которой усиливает пластику колонн. По бокам фасад украшен двумя окнами, наличники которых представляют собой пилястры коринфского ордера, под окнами - декоративные балясины.
Парадности здания во многом способствует развитый декор портика и фриза экседры , связанный с темой триумфа русского оружия в Отечественной войне 1812 года. Лепные композиции включают воинские доспехи, оружие, знамена, щиты и ангелов с вензелем Александра I, изображения Медузы Горгоны, львиных масок, раков и собак.
В общем масштабе площади здание гауптвахты невелико, но эффектно дополнено оградой из коринфских колонн-столбов на кирпичном основании и деревянных решеток, а также круглыми массивными фонарными тумбами c железными коваными фонарями. Покрашенные в черный цвет решетки имитируют чугунное литье в виде щитов с воинскими доспехами и расходящихся от них лучей.