Суражские земли раньше принадлежали знаменитому белорусскому роду Сапег. В 1563 году король Сигизмунд Август дал указ строить замки для укрепления государства. И для строительства одного из замков выбрали и поместье Сапегов. В 1564 году на левом берегу Двины, в месте, где впадает в нее Каспля, построили замок, который позднее назвали «Сураж», что значит «грозно глядеть».Управлял строительством замка витебский воевода Стефан Збаражский. В честь него и первое название поселка.

Король Сигизмунд для того, чтобы люди селились в этом приграничном месте, наделяет Сураж правом на самоуправление. Магдебургское право  он получил 5 августа  1570 года. Также здесь проходили ярмарки два раза в год. Сураж еще получил свой герб.

Замок неоднократно подвергался нападениям московских войск, но каждый раз возрождался. В ходе разделов Речи Поспитой Сураж переходит к России, и необходимость в оборонительном замке отпала. Поэтому его снесли, а все его вольности были ликвидированы, в том числе и Магдебургское право, и он стал обычным городком Полоцкой губернии.