A magyar nehézipar egyik legfontosabb alakja egy svájci kisvárosban, Unter-Embrachban született egy református kántortanító gyermekeként 1814-ben. Kilenc gyermek közül a harmadik, de első fiú volt Ábrahám, akit szülei egyházi pályára szántak, de a fiú érdeklődése korán az építőipar felé fordult. Hogy népes családja fenntartásában segédkezzen, fiatalon munkába is állt. Először az ácsmesterséget tanulta ki, majd Zürichben öntészetet tanult, és öntőinasként szegődött el. Tanulóévei alatt az iparosok szokásos vándorútja során bejárta többek között Svájc, Franciaország és Itália városait, miközben egy saját öntöde alapításáról álmodozott.
A kezdeti nehézségek sem bátortalanították el, hiszen „akinek nincsen jövőjébe vetett reménye, azt sajnálni lehet” – írta ez idő tájt apjának Bécsből. 1841-ben jutott el Pestre, ahol a József Hengerhalmi Társulat gőzmalmában gépszerelési és öntödei munkát végzett. A Széchenyi István kezdeményezése nyomán alapított vállalat ranglétráján hamar első öntőmesterré, majd a gépészeti részleg vezetőjévé lépett elő. Ganz meglátása miatt már nemcsak a malom gépeit tartották karban, hanem a gyár lehetőségeit jobban kiaknázva mezőgazdasági gépeket, mérlegeket és vas épületdíszeket is elkezdtek gyártani. Kossuth Lajos is felfigyelt a munkára, és lelkes beszámolót írt az iparműkiállításon bemutatott gépekről a Pesti Hírlapban.
Az öntödénél töltött évek alatt súlyos baleset érte: egy új technológia kipróbálása során a folyékony vas a szemébe fröccsent. Kevésen múlt, hogy nem borította el egész arcát a fém, de reflexeinek köszönhetően „csak” jobb szemét vesztette el. Állítólag az öntödébe visszatérve ennyit mondott: „A fél szem oda, de az öntés sikerült.” Amikor nem sokkal később észrevette, hogy a megérdemeltnél kevesebb fizetést kapott, felmondott, és az évek alatt félretett keresetéből telket vásárolt, és saját üzemet alapított.