Kažkada garsėjęs citrusinių vaisių giraitėmis, augant ir plečiantis miestams, Palermas skaudžiai išgyveno žalumos netektį. Nepaisant to, Palermas iki šiol visame pasaulyje garsėja sultingais apelsinais ir citrinomis - nors dabar šių vaisių minėtame mieste užauginama ir kur kas mažiau, jų kokybei nėra lygių.
Palermo jėga glūdi jo grožyje ir civilizacijoje, o ne gynybiniuose gebėjimuose ar karinėse tradicijose. Ant jūros kranto slėnyje įkurtas miestas visada masino okupantus. Dėl šios priežasties Palermas pelnytai tapo daugiausiai kartų užgrobtu ir okupuotu miestu pasaulyje.
Pirmieji Palermą okupavo finikiečiai ir pavadino jį Zyz (Gėlė). Vėliau juos iš miesto išstūmė kartaginiečiai, vėliau jų vietą užėmė romėnai, kurie pakeitė miesto vardą į Panormus.
Iki IX amžiaus miestą kontroliavo Graikijos Bizantijos imperija. Vėliau, miestą užkariavus arabams, jis tikrąją to žodžio prasme sužydėjo – miestas tapo Sicilijos sostine ir arabų pasaulyje užsitarnavo gerą vardą.
Šiuo laikotarpiu Palermą papuošė prabangūs rūmai, daugiau nei trys šimtai mečečių ir nuolat šurmuliuojantys turgūs. Miestas savo forma ir struktūra iki šių dienų primena tipišką musulmonų metropolį. Miesto dalis, tais laikas supusi Palermą valdžiusio emyro rezidenciją, buvo vadinama „La Kalsa“. Būtent šioje teritorijoje gyveno dvasininkai, menininkai, pardavėjai, kariai. Greta savo didybe žavėjo senovinė gynybinė pilis – „il Càssaro“.
Kai Palermas parėjo į normanų rankas, „il Càssaro“ tapo miesto valdovų būstine. Situacija pasikeitė atvykus Frederickui II, kuris laikomas vienos garbingiausių Palermo istorijos epochų tėvu. Būtent jis sujungė skirtingas mieste vienu metu įsivyravusias kultūras – Frederickas II sukūrė unikalų miesto istorijos ir kultūros skiautinį, į kurį įtraukė vertingiausias praeities detales.
Tolerantiškai ir pagarbiai vertindamas miesto arabiškąjį paveldą, jis sukūrė atmosferą, kurioje patogiai ir saugiai jautėsi Palerme gyvenantys įvairių kultūrų atstovai. Rezultatas pranoko lūkesčius – Palermas tapo tarptautiniu spalvingu miestu, žavinčiu savo įvairove.
Anžiečių imperijos laikais, Palermo valdovas Charlesas išvyko iš miesto ir užėmė Neapolį. Tuo metu mieste kilo Sicilijos gyventojų maištas. Po jo Palermas atiteko ispanams.
Aragono valdymo metais Palermas turėjo nepriklausomos šalies statusą. Vėliau jis perėjo tiesioginei ispanų valdžiai – tokia situacija tesėti iki XVIII amžiaus. Vėliau Palermas ėjo per Savojos ir Austrijos rankas. Galiausiai Palermo kontrolę perėmė Burbonų dinastija. Trumpas sukilimas leido miestui trumpam įkvėpti laisvės, tačiau numalšinus sukilimą Sicilijos ir Palermo vairą susigrąžino Burbonai. Prie Italijos karalystės miestas, kurio statusas nuo eilinio provincijos miesto iki kultūros sostinės nuolat kito, prisijungė 1860 metais.
Išskirtinis Palermo gatvių planas iki šių dienų išlaikė viduramžių ir arabų dominavimo laikų struktūrą – uždaras alėjas ir siauras gatveles (tai – išskirtinis senovės musulmonų miesto bruožas). Dviejų pagrindinių gatvių sankirta dalija miestą į keturis senovinius kvartalus.
