Стены имеют расположенные в два яруса бойницы: нижние – подошвенного боя, и верхние, доступ к которым обеспечивался по протянувшемуся вдоль всех стен изнутри боевому ходу, опирающемуся на арки и перекрытому двускатной кровлей. В плане стены образуют неправильный четырёхугольник, юго-западная сторона которого идёт параллельно берегу реки Вологды, а перпендикулярная ей северо-западная стена параллельна пересекавшей здесь реку старой дороге из Вологды в Белозерск и в Подвинье. Углы закреплены мощными, далеко выступающими за плоскости стен башнями, имеющими шатровое покрытие и увенчанными смотровыми палатками. Восточная Вологодская и Южная башни, достигающие высоты 20 метров, имеют по 16 граней, северная Белозерская – 12, а западная Мельничная – 8. Самой низкой является обращённая к реке юго-западная стена, усиленная по центру небольшой четырёхугольной Водяной башней с воротами. В оформлении фасадов северо-восточной Вологодской башни между бойницами верхнего яруса использованы редкие для вологодского зодчества одиночные полихромные рельефные изразцы, помещённые в рельефные рамки.
Перестройки, утраты, реставрационные работы
С течением времени утратившие оборонительное значение стены перестают поддерживаться в необходимом состоянии, из-за утраты кровель верхние части стен местами разрушаются и частично разбираются. На нескольких участках, особенно на обращённой к реке стене, сооружаются более или менее высокие контрфорсы, предотвращающие падение растрескавшихся или накренившихся участков стен. В XIX веке завершению всех башен придаётся характерный для архитектуры классицизма вид ступенчатых гранёных куполов, увенчанных шпилями. Возникает трёхцветная яркая контрастная окраска стен, где чередуются белые, охристые и розовые плоскости; нижняя часть стен снаружи получает не отвечающую архитектуре стены окраску в виде крупной аркады. В ХХ веке большинство угловых башен утрачивают деревянные перекрытия ярусов и используются только на уровне первого этажа. В 1920-х годах в северо-восточной стене вблизи Белозерской башни без согласования с органами охраны памятников пробиваются большие ворота, удобные для въезда на территорию со стороны улицы Железнодорожной, существующие до сих пор.
В 1950-е годы Г.П. Беловым выполнена реставрация стен и башен. Часть накренившейся и растрескавшейся юго-западной стены, поддерживаемой от падения контрфорсами, удалось сохранить, выпрямив с помощью системы мощных домкратов и укрепив фундаменты. Башням были возвращены завершения в виде тесовых шатровых кровель с переломами, увенчанных смотровыми «палатками». Стены были также покрытии тесовыми двускатными кровлями.
Во второй половине ХХ века при эксплуатации этих кровель их покрытие было большей частью заменено на железное.
При реставрациях начала XXI века части башен была вновь придана яркая цветная окраска, зафиксированная фотографиями конца XIX века.