Joe Bideno vaikystė nebuvo lengva – gyvenimas daugiavaikėje šeimoje ir nepriteklius paliko pėdsakų. Jo tėvui nebuvo lengva susirasti nuolatinį darbą. Vaikystėje gyveno mažame bute, dalijosi kambariu su dar dviem broliais ir dėde.

J. Bidenas patyrė patyčių iš bendraamžių, nes mikčiojo. Kiti mokiniai jį pašaipiai vadino „brūkšniu“, lygindami kalbą su Morzės kodu, šaipėsi ir iš jo mėginimo pasakyti savo pavardę (atrodydavo, tarsi taria „iki pasimatymo“). Joe stengėsi išvengti mikčiojimo – iš anksto planuodavo pokalbius, laikydavo akmenukus burnoje ir įsimindavo pastraipas, užuot skaitęs jas garsiai iš vadovėlių klasėje.