Klebelsberg egy grófi rangra emelkedett osztrák eredetű katonatiszti család sarjaként született 1875-ben. Anyja révén, aki dunántúli magyar köznemesi családból származott, már fiatalon erős nemzeti érzésekkel telítődött. Középiskolai tanulmányait a cisztercita rend székesfehérvári gimnáziumában végezte, ahol a katolikus egyház elkötelezett hívévé vált, a ciszterciek később rendtestvérükké is fogadták. Egyetemi tanulmányait Budapesten, Berlinben, Münchenben, majd a párizsi Sorbonne-on végezte. A jogtudomány mellett történelmi és államtudományi tanulmányokat is folytatott. Berlinben diáktársa volt Karl Heinrich Becker, a későbbi porosz kultuszminiszter, akivel élete végéig baráti viszonyt ápolt.
Tanulmányai befejeztével 1898-ban Budapesten szerezte meg a jogi és államtudományi doktorátust. Állami tisztviselőként a miniszterelnökségen kezdte meg pályafutását. Hamarosan a konzervatívok vezéralakjának, gróf Tisza István miniszterelnöknek a bizalmasává vált. 1917-től már politikai államtitkár volt a Tisza-kabinetben. A háborús összeomlás után kezdődött meg szoros együttműködése gróf Bethlen Istvánnal, a konzervatív erők egyik fő újjászervezőjével. 1919 februárjában együtt hozták létre a Keresztény Nemzeti Egyesülés Pártját.
Az 1920-as Nemzetgyűlésbe Csernoch János hercegprímás, esztergomi érsek támogatásával jutott be, 1921 decemberétől a Bethlen-kormány belügyminisztere. Ettől kezdve meghatározó szerepet játszott a Horthy-rendszer megszilárdításában. Nevéhez fűződik az erősen antidemokratikus új választójogi rendelet kidolgozása.