Първото писмено известие за града е в заповедта на император Траян от 106 г. за преместването на XI Клавдиев легион от Панония в Дуросторум. Това показва, че градът вече е съществувал като здрава крепост. Близо три века този легион е ударна сила срещу идващите от север варварски народи.

Дуросторум става самоуправляващ се град муниципиум през 169 г., при император Марк Аврелий. През II в. градът постига своя разцвет, като административно и стопанско средище, важна митническа станция. Издигнати са големи и хубави обществени здания, храмове, базилики, бани и частни домове в града, мраморни статуи и барелефи по площадите, изградени са водопроводи. През 238 г. карпите превземат града, ограбват го и отвеждат жителите му в робство. Дуросторум за първи път е разорен.

В края на ІІІ в. - началото на ІV в. е изграден кастел, който със съществуващия легионен лагер, представлява втори отбранителен пояс. По всяка вероятност в средата на V в., по време на хунските нашествия, крепостта е разрушена и в началото на VI в. е изградена нова, чиито граници се препокриват със старата. Тя има многоъгълен план.

Около 590 г. се заселват славяните (северите). Те дават и ново име на града - Дръстър. Градът е богат и проспериращ. По пътищата от север и от запад пристигат кервани, а по реката - кораби с кожи, мед, восък, сол от Карпатските планини и добитък от Влахия, за да бъдат отпратени към Плиска и Константинопол.

При крепостните стени има разкрити 4 плътни триъгълни и 4 петоъгълни кули, разположени през 12 м. Фундаментите на стената, дълбоки 3 м и широки 3.80 – 3.90 м, са градени от малки и средни полуобработени и ломени камъни, подредени в правилни хоризонтални редове. Свързващият материал е вар, речен едрозърнест пясък и натрошена строителна керамика. Единствено при северната крепостна стена градежът е изцяло от камък и няма кули.

На южната стена е разкрита и ранната порта от VI в., фланкирана с две бадемовидни кули. Градежът е много солиден, благодарение на което кастелът съществува и се използва до началото на ХІХ в., когато е разрушен по време на руско-турската война.

Градът играе важна роля и през следващите векове. Като старо седалище на епископ, той е признат за пръв между епископските градове на България. През ХІІ в. е митрополитски център.