Politisk karriere under Stalin
I 1925 gikk Khrushchev ut på heltidspartiarbeid som partisekretær for Petrovsko-Mariinsk distrikt Yuzovka. Han markerte seg med sitt harde arbeid og sin kunnskap om mine og fabrikkforholdene. Han ble snart kjent med Joseph Stalins nære medarbeider, Lazar M. Kaganovich, generalsekretær for det ukrainske partiets sentralkomité, som ba Khrusjtsjov om å følge ham som ikke-stemmeberettiget delegat til den 14. partikongressen i Moskva. I de neste fire årene – i Yuzovka, deretter i Kharkov (nå Kharkiv) og Kiev – var Krusjtsjov aktiv som festarrangør. I 1929 fikk han tillatelse til å reise til Moskva for å studere metallurgi ved Stalin Industrial Academy. Der ble han utnevnt til sekretær for akademiets partikomité. I 1931 gikk han tilbake til festarbeid på heltid i Moskva. I 1933 hadde han blitt andre sekretær for Moskva regionale komité.
I løpet av de tidlige 1930-årene befestet Khrusjtsjov sitt grep om partikadrene i Moskva. Han overvåket fullføringen av Moskvas undergrunnsbane, som han mottok Lenins orden for i 1935. Det året ble han første sekretær for Moskva by og den regionale partiorganisasjonen – faktisk guvernøren i Moskva. I det foregående året, på den 17. partikongressen, hadde han blitt valgt til et fullverdig medlem av den 70-manns sentralkomiteen for det kommunistiske partiet i Sovjetunionen (CPSU).
Khrusjtsjov var en ivrig tilhenger av Stalin i disse årene og deltok i rensing av partiledelse. Han var en av bare tre provinsielle sekretærer som overlevde massekjøringen av den store rensingen på 1930-tallet. Han ble medlem av den konstitusjonelle komiteen i 1936, et varamedlem i sentralkomiteens styrende politbyrå i 1937, og samme år et medlem av utenrikskommisjonen til den øverste sovjet. Et år senere ble Khrusjtsjov gjort til kandidatmedlem i politbyrået og sendt til Kiev som første sekretær for den ukrainske partiorganisasjonen. I 1939 ble han gjort til et fullverdig medlem av politbyrået.
I 1940, etter at sovjetiske styrker hadde okkupert Øst-Polen, ledet Khrusjtsjov over «integreringen» av dette området i Sovjetunionen. Hans hovedmål var å avvikle både de polske og ukrainske nasjonalistbevegelsene, samt å gjenopprette den kommunistiske partiorganisasjonen i Ukraina, som hadde blitt knust i den store rensingen. Dette arbeidet ble forstyrret av den tyske invasjonen av Sovjetunionen i juni 1941. Khrusjtsjovs første oppdrag fra krigstid skulle evakuere mest mulig av Ukrainas industri mot øst. Deretter ble han knyttet til den sovjetiske hæren med rang av generalløytnant; hans hovedoppgave var å stimulere motstanden til sivilbefolkningen og opprettholde kontakt med Stalin og andre medlemmer av Politbyrået. Han var politisk rådgiver for marskalk Andrey I. Yeremenko under forsvaret av Stalingrad (nå Volgograd) og for generalløytnant Nikolay F. Vatutin under den enorme stridsvognslaget i Kursk.
Etter frigjøringen av Ukraina i 1944 gjenopptok Khrusjtsjov kontrollen over Ukraina som første sekretær for den ukrainske partiorganisasjonen. Han jobbet for å gjenopprette siviladministrasjonen og bringe det ødelagte landet tilbake til et eksistensnivå. En hungersnød i 1946 var en av de verste i Ukrainas historie; Khrusjtsjov kjempet for å gjenopprette kornproduksjon og distribuere matforsyninger, mot Stalins insistering på større produksjon fra Ukraina for bruk i andre områder. I løpet av denne perioden fikk Khrusjtsjov en førstehånds bekjentskap med problemene med sovjetisk jordbruksmangel og planlegging. I 1949 kalte Stalin ham tilbake til Moskva, hvor han overtok sin gamle jobb som leder for Moskva byparti og samtidig ble utnevnt til sekretær i CPSUs sentralkomite.
Perioden 1949–53 var langt fra hyggelig for Khrusjtsjov og andre medlemmer av den sovjetiske ledelsen, som fant seg pant i Stalins palasspolitikk. Khrusjtsjov flyttet mer og mer inn i landbruket, der han startet sine ordninger for agrogorod («bondestad») og større statlige gårder på bekostning av de konvensjonelle kollektivene. Hans innovasjoner ble imidlertid avvist i 1951, da ansvaret for landbruket ble overført Georgy M. Malenkov.