A versenyszerű sportolás csakugyan úri hóbortnak számított akkoriban. De Hajós nem divatból kezdett el sportolni.
A szegény zsidó család Guttmann Arnold néven született gyermeke 13 éves korában árva lett: édesapja a Dunába fulladt. A gyenge fizikumú kamaszfiú ekkor határozta el, hogy megtanul úszni. 15 éves korára már versenyszerűen úszott, hol a Dunában, hol a Rudas fürdő meleg vizű medencéjében gyakorolt. Edzéseit a hajnali órákban tartotta, mert iskoláiban nem nézték jó szemmel a hóbortját. 17 évesen már magyar és Európa-bajnoki címet szerzett. Hetedmagával - egyetlen úszóként - került be az első magyar olimpiai keretbe. Mindössze 18 éves volt.
Az úszóversenyeket 1896. április 11-én az Athén melletti Zea-öböl 11 fokos hideg vizében rendezték. A 20 indulót gőzhajók szállították ki az öböl közepén fekvő 100 méteres versenypálya rajtjához, egy bójákra kifeszített kötélhez. Az úszásnem nem volt meghatározva. Hajós azt a váltott karú úszástechnikát használta, amelyet a dunai matrózoktól tanult. A mai gyorsúszás kéztempóját ezzel ő honosította meg az úszósportban, lábtempója pedig a pillangóúszáséhoz volt hasonló. Hajós a hullámzó vízben végig vezetve 1:22,2 perces idővel elsőként ért célba. Az első magyar olimpiai bajnok tiszteletére maga a görög trónörökös vonta fel a hajó árbocára a magyar zászlót, amelyet Hajós hozott magával Budapestről. A győzelmét követően a görög zenekar elkezdte játszani a bajnok országának himnuszát: az osztrák császári himnuszt. A jelen lévő magyarok ezt azonnal leállíttatták, és eljátszatták a magyar himnuszt.