Arthur Rubinstein 1887. január 28-án látta meg a napvilágot a lengyelországi Łódźban egy lengyel–zsidó kereskedőcsalád hetedik gyermekeként. Hároméves korában kezdett el zongorázni tanulni, ám hamar megmutatkozott zsenialitása. Hét-évesen már Mozartot, Schubertet, Mendelssohnt játszott szülővárosában egy jótékonysági koncerten. Tízévesen anyja meghallgatásra vitte a híres magyar származású hegedűművészhez, Joachim Józsefhez, aki innentől fogva személyesen felügyelte zenei oktatását. Rubinstein ezután Berlinbe költözött, ahol zongoratanára Karl Heinrich Barth lett, aki az akkori szigorú germán módszerekkel tanította. Mindössze hároméves képzés után, 1900-ban már a Berlini Filharmonikusokkal lépett fel, a kritikusok csodálkoztak is fiatal kora ellenére kiemelkedő teljesítményén, és így írtak róla: „Nem úgy játszott, mint egy csodagyerek, hanem mint egy érett, felnőtt zenész.”
1904-ben Párizsba költözött, igazából itt indult be karrierje. 1906-ban már New Yorkban debütált a Carnegie Hallban, igaz, ott hűvösen fogadták, de azt követően turnézott még Ausztriában, Olaszországban és Oroszországban is. A hetvenöt állomásos koncertkörút befejeztével visszaköltözött Párizsba, és a nyilvános szerepléstől négy évig tartózkodott. E viharos idő alatt kétségbeesetten, szegényes körülmények között élt, üldözték a hitelezők, már kilakoltatással is fenyegették, ezért megkísérelte még az öngyilkosságot is, amiről később így vallott: „úgy éreztem, akkor a sikertelen próbálkozás után »újjászülettem«, és elkezdtem igazán élvezni, értékelni az életet”. Ez után folyamatosan gyakorolt, és összebarátkozott a karmester Szergej Kuszevickijjel és a zeneszerző Igor Sztravinszkijjel.
Rubinstein 1914-ben, az első világháború idején elhagyta Párizst, és Spanyolországba költözött. Ez az időszak nagy fordulópont volt az életében, érettebb lett, a spanyol nép pedig lelkesen ünnepelte koncertjeit. Kedvükért megtanult spanyolul is, és a spanyol zeneszerzők, úgymint Manuel de Falla, Isaac Albéniz és Enrique Granados műveit kezdte sorra játszani. Szenvedélyes játékával hívta fel magára a közönség figyelmét. Heitor Villa-Lobos személy szerint neki ajánlotta Rudepoéma nevű szerzeményét, amely egyike a legnehezebb zongoradaraboknak. Spanyolország után Dél-Amerikában koncertezett, ahol hasonló örömmel fogadták. Ezek az előadások adtak számára kellő bátorítást és anyagi előrelépést, hogy visszatérjen Európába.