Ernie (Ernő) Kovacs emigráns magyar szülők gyermekeként 1919. január 23-án látta meg a napvilágot a New Jersey-i Trentonban, ahol gyermekkorát is töltötte. Apja, aki tizenhárom éves kora óta élt Amerikában, igen érdekes karriert futott be: először rendőr, majd restaurátor, végül szeszcsempész lett. Utóbbi annyira jól jövedelmezett, hogy családját a Trenton jómódú negyedében levő kastélyba költöztette. A nagy világválság és a szesztilalom a család életében azonban nehéz időket hozott: Ernie kamaszkorában drogériákban dolgozott. Szerény körülmények között élt, és csak másodosztályú mozifilmekre tudott jegyet venni, ám a későbbiekben ezek alapozták meg munkásságát. Diákéveiben rendkívüli hatást gyakorolt rá a trentoni középiskola drámatanára, Harold Van Kirk is, akinek a segítsége révén 1937-ben ösztöndíjat nyert az Amerikai Drámaművészeti Akadémiára.
1939-ben tüdő- és mellhártyagyulladást kapott, amibe majdnem bele is halt, ám az elkövetkező másfél év alatt felépült.
A kórházakban az orvosokat és a betegeket szórakoztatta humorával, valamint a klasszikus zene iránti szeretete is itt fejlődött ki, hiszen a kórházban folyamatosan rádiót hallgatott. 1941-ben kapta meg első fizetős állását a WTTM rádiónál lemezlovasként, majd a „Különleges események” című rádióműsort szerkesztette. Itt mutatta be, hogy milyen érzés az, amikor valakit épp elütne a vonat, de az illető az utolsó pillanatban ellép a sínről. A helyi színházban is dolgozott, a helyi hetilapban pedig rovatszerkesztő volt. A rovat a „Korlátlan Kovacs” címet kapta.