Sulle alture del Monte Ursino si erge l‘antico torrione del castello feudale nominato in documenti del 1004. Da esso si dipartono le tre cinte murarie che racchiudono il centro cittadino.
E' un tipico esempio di complesso fortificato ligure, su cui venne imperniata la difesa nolese. Subì nel tempo diversi rimaneggiamenti, ma è ancora oggi il monumento difensivo meglio conservato di tutta la Liguria di Ponente. Risalendo via Defferrari e via La Malfa, si raggiunge il castello, di cui restano il 'maschio', costruzione poligonale e la torre circolare di avvistamento e di difesa. Lunghi tratti di mura (sec. XIII) scendono sino ai dirupi nel mare e verso la città andando ad abbracciare il nascente centro storico.