Η πόλη των Σερβίων παρουσιάζει ένα ιδιαίτερα εξελιγμένο σύστημα οχυρωματικής, που μπορεί να συγκριθεί επάξια με τα αμυντικά συστήματα σημαντικών πόλεων της εποχής, όπως η Θεσσαλονίκη, η Βέροια και οι Σέρρες. Σε κάτοψη ακανόνιστου σχήματος, αφού ετσι το υπαγόρευε η ανώμαλη διάπλαση του απόκρημνου βράχου πάνω στον οποίο ήταν αυτό σκαρφαλωμένο,το κάστρο των Σερβίων διαιρείται σε τρία άνισα μεταξύ τους μέρη: την ακρόπολη στο υψηλότερο σημείο, την άνω πόλη και την κάτω πόλη. Την διάταξη αυτή καθορίζουν τρεις σειρές τειχών μαζί με τα τείχη της ακρόπολης, σε διαδοχικά επίπεδα άμυνας, εξασφαλίζοντας με τον τρόπο αυτό τη μέγιστη προστασία των κατοίκων σε περιόδους πολιορκίας της πόλης.
Από τον εξωτερικό περίβολο, ο οποίος περιέκλειε μια έκταση 100 περίπου στρεμμάτων, σώζονται ελάχιστα λείψανα, κυρίως στη νοτιοανατολική δυτική και βόρεια πλευρά της πόλης, η οποία ήταν και η μόνη προσβάσιμη. Εκεί σύμφωνα με ιστορικές μαρτυρίες, υπήρχε η κεντρική πύλη όπου κατέληγε η κύρια οδική αρτηρία προς το κάστρο. Πύλη που οδηγεί από την κάτω πόλη στην άνω, αποκαλύφθηκε και στο διάμεσο τείχος, στο καλύτερα διατηρημένο δυτικό τμήμα του.
Η κύρια φάση της οχύρωσης χρονολογείται στη μεσοβυζαντινή εποχή (11ος-12ος αιώνας). Σε τμήματα ωστόσο των τειχών, αναγνωρίστηκαν φάσεις των πρώιμων βυζαντινών χρόνων (6ος-7ος αιώνας) καθώς και φάσεις που μπορούν να συσχετισθούν με το πρόγραμμα ανοικοδομήσεων και επισκευών φρουρίων της Μακεδονίας που εφάρμοσαν οι αυτοκράτορες Λέων Αρμένιος(813-820) και Ρωμανός Λεκαπηνός(959-963). Εκτεταμένες όμως επιδιορθώσεις και ανακτήσεις πραγματοποιήθηκαν και στα χρόνια των Παλαιολόγων (13ος-15ος αιώνας).