Han blev født i 1950 i Gainesville, Florida, og havde en barsk barndom, men et håndtryk fra Elvis i en alder af 17 udløste en interesse for rockmusik. David Rolland fra Broward Palm Beach New Times gik på en trek for at besøge steder, der er vigtige for Petty tilbage i 2014, inklusive hans barndomshjem:
Petty's første band, Mudcrutch, boede på en gård i Gainesville, der var "snavs billig" og "langt fra alle naboer, der måske klager over støjen," Gainesville Sun skrev i 2008.
Red Slater, en ven af bandet, der boede på gården i et par år, fortalte solen:
Bandet flyttede til Californien i 1974 for at gøre det stort, men bandet brød sammen, og et par tidligere medlemmer kom sammen om at danne Tom Petty og Heartbreakers, og resten, som de siger, er historie (skønt Mudcrutch blev genforenet i 2007 og frigav to album).
Petty's Encino, Californien, har helt historien. I 1987 - et år før Travelling Wilburys (supergruppen Petty dannet med George Harrison, Bob Dylan, Roy Orbison og Jeff Lynne) frigav deres debut - en
brandstiftelse satte ejendommens trætrappe i brand, og næsten alt bortset fra kælderoptagelsesstudiet blev tabt. Lille og familie genopbyggede stedet og ifølge Realtor.com:Og vi kommer til Petty's Lake Sherwood tilbagetog. Det var noteret til salg tilbage i maj, og er stadig på markedet for $ 5.895 millioner. Stedet blev kaldt Casa Della Madonna, og det blev bygget i 1931 og føles mere som Comosøen end Californien. Den 5.300 kvadratmeter store ejendom ligger på næsten en hektar med en privat dock. Stuen har vægge lavet af lokal marksten, og i 2004 tilføjede man en rolig master suite med et dybt stenbad og en balkon med pejs.