9 мая 1978 года на восточной окраине Велижа был открыт памятник-мемориал в честь героической 4-й Ударной армии (в народе его называют «Штыки»). В его сооружении принимали участие воины Советской Армии и жители города. Автор проекта - майор В.Г. Шнурук. Памятник-мемориал возведен на насыпном, бетонированном, прямоугольном возвышении площадью 60 кв.м. На лицевой стороне прямоугольника - мемориальная доска с выбитыми на ней словами: «Воинам Советской Армии, героически оборонявшим и освободившим город Велиж и район от немецко-фашистских захватчиков». У основания прямоугольника с той же стороны уложена металлическая плита, на которой отлиты номера соединений и частей, сражавшихся за Велиж. С левой и правой сторон от стрелы установлены скатом на восточную сторону пять бетонных надолб - по числу стрелковых дивизий (249 СД, 332 СД, 334 СД, 358 СД, 360 СД). Из надолб выступают острием на запад восьмиметровые трехгранные штыки из нержавеющей стали, как напоминание иноземным захватчикам об острие русского оружия.
Уличные бои за город были очень тяжелыми, ветераны иногда называют бои за Велиж «малым Сталинградом».
В честь двух дивизий, освобождавших город, названы две улицы:
Улица Ивановская названа в честь 332-й стрелковой дивизии, воины которой в боях с врагом проявили истинный героизм, дивизия была отмечена орденом Суворова II степени и правом называться Иваново-Полоцкой.
Улица Казанская названа в честь 334-й стрелковой дивизии, воины которой в боях с врагом проявили героизм, мужество и вписали в летопись боевой славы не одну героическую страницу, за что дивизия награждена орденом Суворова II степени, а за проявленный героизм в боях за освобождение Витебска получила право называться Витебской.