Joachim József 1831-ben született a Pozsony-Moson vármegye területén található Köpcsényben, amit ma Kittsee néven találhatunk Ausztriában. A nem túl tehetős kereskedőcsaládban ekkorra a gyermekek nagy része már elvégezte az elemi iskolát, és továbbtanulásuk, valamint a könnyebb megélhetés reménye is vonzóvá tette a Pestre költözés gondolatát. A kis József, akit otthon csak Pepinek neveztek, kétéves volt ekkor. Testvérei a költözésnek köszönhetően továbbtanulhattak, a kisfiú sorsát pedig egy karácsonyi ajándék döntötte el: egyik idősebb testvérének gyermekhegedűjét örökölte meg. Amikor az ajándékkal együtt megmutatták neki a szükséges fogásokat, Pepi meglepően nagy fogékonyságot mutatott a hangszer iránt. Édesapját akkor győzte meg arról, hogy érdemes hegedűjátékra taníttatni, mikor az éneket gyakorló nővérét kísérte meglepően pontosan.
Pepi Serwaczynski Szaniszló, a pesti Német Színház hangversenymesterének tanítványa lett, aki oly nagyra tartotta az ifjú tehetséget, hogy már 8 éves kora előtt a Nemzeti Kaszinó esti előadásában léptette fel, méghozzá magával a mesterrel együtt. A gyermeket már a hangverseny szünetében megrohanta a főúri közönség: többek között Brunszvik Teréz grófnő bátyjával, Ferenc gróffal (aki nem mellesleg Beethoven jó barátja is volt), és Rosty báróval, Eötvös József báró apósával a kis József komoly támogatókkal gazdagodott.
Épp a Brunszvik család támogatásával került nem sokkal később, 1839-ben Bécsbe, hogy igazán színvonalas hegedűoktatásban részesülhessen. A fiút Georg Hellmesbergernek mutatták be, aki kis híján tönkrezúzta Józsefék álmait: