A Tel Avivhoz közeli Kfar Malal kibucban született 1928. február 26-án, az akkori brit fennhatóságú, palesztin mandátumterületen. Szülei a mai Lengyelország területéről alijáztak, nagyanyja, a híres Scheinermann mama bábaasszonyként ott olyan tekintélyre tett szert, hogy külön őt kérték fel közreműködésre egy másik későbbi miniszterelnök, Menachem Begin világra jöttekor.
Saron tizennégy éves, amikor csatlakozik a váltakozó legalitással működő, önvédelmi Haganához, s attól kezdve közösségének, reménybeli független hazájának biztonságát tekinti életcéljául. Ez a kiképzés teszi lehetővé, hogy az 1948–49-es függetlenségi háborút szakaszparancsnokként kezdje, majd az egyik legeredményesebb felderítő tisztként fejezze be. Utána történelmi és orientalisztikai tanulmányokat folytat a jeruzsálemi Héber Egyetemen, majd 1953-ban vissza a hadseregbe: annak a 101-es különleges kommandóalakulatnak a parancsnoka, amely a palesztin szabadcsapatok merényleteit torolja meg, ha kell, Jordániában is.
A második, 1956 őszén zajló arab–izraeli háborúban ejtőernyős dandárt irányít a szuezi fronton, kitűnik gyors döntéseivel, vakmerő akcióival. Tanul és tanít, elvégzi a Camberley-i Vezérkari Akadémiát Angliában, utána hazájában rábízzák a hadseregben folyó kiképző tevékenységet. Az 1967-es háborúban több dandárt is irányít, azután súlyos törés következik. 1973 nyarán mindenki őt várja a vezérkari főnök megüresedett pozíciójába, de a politikai alkuk következtében a tisztséget Elazar tábornok nyeri el. Saron szerint érdemtelenül, s annyira megsértődik, hogy kiválik a hadseregből.