Pirmą kartą Alytus minimas 1377 metais Vygando Marburgiečio kronikoje kaip regiono centras. Per Alytų į šalies gilumą ėjo kryžiuočių puolimų keliai. 1387 m. LDK dokumentuose minimas kaip miestelis. Po Žalgirio mūšio dešiniajame Nemuno krante ėmė augti gyvenvietė, kuri vadinosi Alytus I, nuo XV a. pabaigos kairiajame krante auganti gyvenvietė ėmė vadintis Alytus II. 1466 m. minimas Alytaus valsčius. 1524 m. pastatyta bažnyčia ir įsteigta parapija.
1581 m. birželio 15 d. Lietuvos didysis kunigaikštis Steponas Batoras suteikė Alytui Magdeburgo teises ir herbą. Ši data yra minima kaip Alytaus miesto diena. Praeityje Alytus daug kartų nukentėjo nuo svetimų kariaunų. Ne kartą jį naikino gaisrai, maro epidemijos ir kitos nelaimės. 1586 metais pastatyta cerkvė.
XVII a. karų su Rusija ir Švedija metu miestas neteko daug gyventojų. 1795 metais miestas padalintas: rytinė dalis (Alytus I) atiteko Rusijos imperijai, o vakarinė (Alytus II) – Prūsijos karalystei. 1807 m. Alytus II atiteko Napoleono sukurtai Varšuvos kunigaikštystei, po Vienos kongreso atiteko Lenkijos karalystei (priklausė 1815-1915 m.).
1915 metais, kai Lietuvoje ir Suvalkų gubernijoje įsitvirtino vokiečių karinė administracija, Alytus I ir Alytus II buvo sujungti į vieną administracinį vienetą. 1919 m. vasarį mieste vyko Alytaus kautynės, kuriose Lietuvos kariuomenė kovėsi su bolševikais. Antrojo pasaulinio karo metais Alytuje sušaudyta apie 60 tūkst. žydų. 1932 m. Alytui suteiktas kurorto statusas. Pokario pasipriešinimo judėjime miestas priklausė Dainavos krašto apygardai.
Po karo miestas ėmė sparčiai augti. 1977 metais Alytui buvo suteiktos respublikinio pavaldumo miesto teisės. 1995 m. patvirtintas dabartinis miesto herbas.
Spėjama, kad Alytaus vietovardis yra hidroniminės kilmės, kadangi pro Alytų į Nemuną įteka upelis Alytupis, kuris anksčiau galėjęs vadintis tiesiog Alytus.
Kita versija teigia, kad miesto vardas galėjo kilti nuo pilies, kuri stovėjo čia jau XIV a., dažnai pastodavo kryžiuočiams kelią ir jie šią pilį vadino Aliten.