Haraszthy Ágoston a 12. századig visszavezethető magyar arisztokrata családba született Pesten, 1812. augusztus 30-án. Apai felmenői közül Haraszthy Ferenc szintén említésre méltó: Arad vármegye főispánja, szörényi bán volt a 15. század végén és a 16. század elején. Kiemelkedő tetteiért a király grófi rangot kínált neki, amit visszautasított. Leszármazottai ugyan gazdag nemesi családba születtek, de nem rendelkeztek grófi címmel. Haraszthy Ágoston édesanyja, Fischer Anna Mária, óbudai német családból származott. Édesapja, Haraszthy Károly művelt nemes ember volt, rendkívül jártas a hadtudományokban, amiért később Amerikában tábornoknak szólították, és a San Diego városi törvényhozásban is részt vett.
A fiatal Haraszthy életét számos legenda övezi, miszerint 16 évesen felvették a Magyar Királyi Testőrségbe, valamint jogi tanulmányokat folytatott, és József nádor személyi titkára is volt. Mivel ezekre írásos dokumentumokat nem találtak, így inkább általa éltetett legendáknak tartják. 1833-ban Újfuttakon a 17 éves, szintén nemes Dedinszky Eleonórával örök hűséget fogadtak. Hét gyermekük született: Géza, Attila, Árpád, Ida, Béla, Otélia és Johanna. Eleonóra apja, Dedinszky Ferenc, a Napóleon elleni 1809-es győri csatában kapitányi rangban harcoló katona volt.
Haraszthy Ágoston a 1830-as években Bács megye aljegyzőjeként perbe keveredett a királyi javak magáncélra történő hasznosítása miatt, ezért lemondott. Egyre több külföldi utazóval igyekezett megismerkedni: 1840-ben el is jutott Amerikába, amiről így írt az 1844-ben Heckenast Gusztáv által kiadott Utazás Éjszakamerikában című könyvében: „Már több év óta elnyomhatlan láng égett keblemben, országokat beutazni s azok látása által magamnak tapasztalásokat szerezni. (…) Minden alkalmat használtam, hazámban utazó külföldi férfiakkal ismeretséget tenni és ezektől szükséges felvilágosításokat a külföldi utazásmódról s főképp ajánló-leveleket nyerni.”