Carrera política bajo Stalin
En 1925, Jruschov comenzó a trabajar a tiempo completo como secretario del partido de Petrovsko-Mariinsk distrito de Yuzovka. Se distinguió por su arduo trabajo y conocimiento de las condiciones de la mina y la fábrica. Pronto se enteró del estrecho colaborador de Joseph Stalin, Lazar M. Kaganovich, secretario general del Comité Central del Partido Ucraniano, quien le pidió a Khrushchev que lo acompañara como delegado sin derecho a voto al XIV Congreso del Partido en Moscú. Durante los siguientes cuatro años, en Yuzovka, luego en Kharkov (ahora Kharkiv) y Kiev, Jruschov estuvo activo como organizador del partido. En 1929 recibió permiso para ir a Moscú a estudiar metalurgia en la Academia Industrial de Stalin. Allí fue nombrado secretario del Comité del Partido de la academia. En 1931 volvió a trabajar a tiempo completo en Moscú. En 1933 se había convertido en segundo secretario del Comité Regional de Moscú.
A principios de la década de 1930, Jruschov consolidó su control sobre los cuadros del partido de Moscú. Supervisó la terminación del metro de Moscú, por lo que recibió la Orden de Lenin en 1935. Ese año se convirtió en primer secretario de la organización del partido regional y de la ciudad de Moscú; El año anterior, en el XVII Congreso del Partido, había sido elegido miembro de pleno derecho del Comité Central del Partido Comunista de la Unión Soviética (PCUS) de 70 miembros.
Jruschov era un entusiasta partidario de Stalin en esos años y participó en las purgas de la dirección del partido. Fue uno de los tres secretarios provinciales que sobrevivieron a las ejecuciones masivas de la Gran Purga de la década de 1930. Se convirtió en miembro del Comité Constitucional en 1936, miembro suplente del Politburó gobernante del Comité Central en 1937, y ese mismo año miembro de la Comisión de Asuntos Exteriores del Soviet Supremo. Un año después, Jruschov fue nombrado candidato a miembro del Politburó y enviado a Kiev como primer secretario de la organización del partido ucraniano. En 1939 fue nombrado miembro de pleno derecho del Politburó.
En 1940, después de que las fuerzas soviéticas ocuparan el este de Polonia, Jruschov presidió la «integración» de esta zona en la Unión Soviética. Su principal objetivo era liquidar los movimientos nacionalistas polaco y ucraniano, así como restaurar la organización del Partido Comunista en Ucrania, que había sido destruida en la Gran Purga. Este trabajo fue interrumpido por la invasión alemana de la Unión Soviética en junio de 1941. La primera misión de Jruschov durante la guerra era evacuar la mayor parte posible de la industria de Ucrania hacia el este. A partir de entonces, fue agregado al ejército soviético con el rango de teniente general; su tarea principal era estimular la resistencia de la población civil y mantener el enlace con Stalin y otros miembros de fue asesor político del mariscal Andrey I. Yeremenko durante la defensa de Stalingrado (ahora Volgogrado) y del teniente general Nikolay F. Vatutin durante la gran batalla de tanques en Kursk.
Después de la liberación de Ucrania en 1944, Jruschov reasumió el control de Ucrania como primer secretario de la organización del partido ucraniano. Trabajó para restaurar la administración civil y devolver ese país devastado a un nivel de subsistencia. Una hambruna en 1946 fue una de las peores en la historia de Ucrania; Jruschov luchó para restaurar la producción de cereales y distribuir alimentos, contra la insistencia de Stalin en una mayor producción de Ucrania para su uso en otras áreas. Durante este período, Jruschov se familiarizó de primera mano con los problemas de la escasez y la planificación agrícolas soviéticas. En 1949 Stalin lo llamó de regreso a Moscú, donde asumió su antiguo trabajo como jefe del Partido de la Ciudad de Moscú y al mismo tiempo fue nombrado secretario del Comité Central del PCUS.
El período 1949-1953 estaba lejos desde agradable para Jruschov y otros miembros del liderazgo soviético, que se encontraron como peones en la política del palacio de Stalin. Jruschov se trasladó cada vez más a la agricultura, donde comenzó sus planes para el agrogorod («ciudad agrícola») y granjas estatales más grandes a expensas de los colectivos convencionales. Sin embargo, sus innovaciones fueron rechazadas en 1951, cuando la responsabilidad de la agricultura se transfirió a Georgy M. Malenkov.