Imperia nasce dalla fusione di due città preesistenti, Oneglia e Porto Maurizio, e dei relativi territori, storicamente e geograficamente distinti.

Oneglia, a levante, rappresenta la parte più estesa e rilevante della città, si estende nella breve piana alluvionale sulla sinistra della foce del torrente Impero, raccogliendosi intorno a Piazza Dante, dalla quale si aprono alcune delle principali strade moderne della città. Ha costituito storicamente il centro industriale della città, legata principalmente alla produzione di olio e pasta.

Di vocazione maggiormente commerciale rispetto a Porto Maurizio, il centro di Oneglia è caratterizzato da un'architettura d'impronta piemontese (è evidente l'ispirazione a Via Roma e Piazza San Carlo di Torino), eredità del periodo in cui faceva parte dei territori dei Savoia.

Porto Maurizio, a ponente del torrente Impero (che dà nome alla città), è raccolto su un promontorio proteso nel mare sulla sinistra della foce del torrente Caramagna e si espande sulla cimosa costiera; ha una vocazione prevalentemente residenziale e turistica. È intricata e pittoresca, ricca di caruggi (vicoli), piccole creuze (viottoli) e palazzi di pregio.

Il territorio retrostante la città, al centro dell'attuale Riviera dei Fiori, ha un andamento orografico caratterizzato da brevi valli poste perpendicolarmente alla costa e uniformemente degradanti, nelle quali si sono sviluppati molti insediamenti che sono riusciti a conservare intatta o quasi la loro struttura originaria.

La coltura dell'olivo, introdotta verso il XII secolo, ha segnato la storia del territorio imperiese, così come, secoli più tardi, hanno fatto i fiori e il turismo. Olivi coltivati su colline terrazzate (dette in dialetto locale "fasce") con i caratteristici muretti a secco sono ancora l'elemento dominante del paesaggio.