Μέσα από μαρτυρίες ιστορικών και περιηγητών, η πρωτεύουσα της Χίου, δηλαδή το Κάστρο της φαίνεται να έζησε τη χρυσή εποχή του κατά την περίοδο της Γενουατοκρατίας. Τότε είχαν κτιστεί μεγαλοπρεπείς υψηλές λιθόκτιστες οικίες με μαρμάρινες διακοσμήσεις για να στεγάσουν τους ευγενείς της φατρίας των Ιουστινιάνι. Ο οικισμός είχε αρκετά φαρδείς δρόμους αλλά και πυκνές συνοικίες, ειδικότερα τη συνοικία των Εβραίων η οποία εκτεινόταν πίσω από την κεντρική πλατεία μέχρι και την Δυτική Πύλη, το Επάνω Πορτέλο.
Στην περίοδο της Οθωμανικής κυριαρχίας, παρόλο που κτίστηκαν λουτρά, τζαμιά και βρύσες, ο εντός του Κάστρου οικισμός διατήρησε κατά πολύ το γενουατικό χαρακτήρα του τόσο όσον αφορά τη ρυμοτομία, όσο και την αρχιτεκτονική των σπιτιών του. Εκείνη την εποχή, στο Κάστρο διαβιούσε η τούρκικη φρουρά, λίγοι Εβραίοι καθώς και οι διοικητικοί υπάλληλοι. Παρόλα αυτά, είναι σημαντικό να επισημανθεί ότι ο ντόπιος πληθυσμός πάντοτε έκτιζε τα σπίτια του γύρω από το Κάστρο, ενώ όσες φορές χρειάστηκε, π.χ. μετά από επιδρομές, να ξανακτίσουν τους οικισμούς τους το έκαναν με τον ίδιο ακριβώς τρόπο, ίσως γιατί ένιωθαν ασφάλεια ή γιατί ήθελαν να είναι κοντά στο οικονομικό, πολιτικό και πολιτιστικό κέντρο της εποχής. Έτσι, ως τις μέρες μας το Κάστρο αποτελεί την αφετηρία και την προέκταση της νέας πόλης.
Δυστυχώς, οι υπέροχες γενουατικές οικίες και η πλειοψηφία των κτισμάτων μέσα στο Κάστρο έπαθαν ανεπανόρθωτες ζημιές μετά το σεισμό του 1881 μ.Χ (όπως όλη η βόρεια Χίος άλλωστε) και το γεγονός αυτό αλλοίωσε την εσωτερική του όψη.
Οι σωροί από πέτρες που μαζεύτηκαν χρησιμοποιήθηκαν πολλές φορές για το κτίσιμο άλλων οικιών εντός και εκτός του Κάστρου, ενώ πολλοί αρχαιολογικοί θησαυροί του εξαφανίστηκαν (π.χ η επιγραφή που κοσμούσε την εσωτερική πύλη του Επάνω Πορτέλο). Επιπλέον, το Κάστρο αποτέλεσε κατά τα έτη 1914-1918 και ειδικότερα το 1922 το καταφύγιο των προσφύγων της Μικράς Ασίας. Οικοδομικό υλικό προερχόμενο από τη λιθολόγηση προμαχώνων (μεταξύ άλλων και εκείνου που επέβλεπε το Επάνω Πορτέλο), αλλά και από κατεστραμένα κτίρια χρησιμοποιήθηκε για να κατασκευαστούν τα σπίτια των προσφύγων. Σε κάποιες περιπτώσεις μάλιστα, σπίτια κτίστηκαν πάνω στα τείχη, όπως στα Μπεντέμια του Προμαχώνα Αντώνιο Ζένο, αλλά και στο εσωτερικό των τειχών, όπως για παράδειγμα η Δυτική Πύλη Επάνω Πορτέλο η οποία κτίστηκε και κατοικήθηκε. Ευτυχώς, μετά την Μεταπολίτευση δόθηκε εντολή να κατεδαφιστούν τα αυθαίρετα αυτά σπίτια, αν και μέχρι σήμερα είναι εμφανή τα σημάδια που άφησαν πάνω στα τείχη.

Προσφυγικά σπίτια Μικρασιατών πάνω στο σωζόμενο Επιλιμένιο Τείχος
Φωτογραφία Βερβέρη Μαίρη
Τα σπίτια στο εσωτερικό του Κάστρου (μετά το μεγάλο σεισμό) ξανακτίστηκαν στη βάση της τοπικής παραδοσιακής αρχιτεκτονικής, επηρεασμένης πλέον από τη μικρασιάτικη, προσφέροντάς μας πανέμορφα δείγματα διώροφων στενομέτωπων κτιρίων με ‘σαχνισί’ στην πρόσοψη, δηλαδή ξύλινα κλειστά μπαλκονάκια (τους γνωστούς κιοσέδες). Η ιδιαίτερη αυτή αρχιτεκτονική κοσμεί μέχρι και σήμερα τους στενούς δρόμους του ζωντανού οικισμού.