В самом начале войны многие сотрудники ЦНИИТМАШ ушли на фронт, в истребительные батальоны, пожарные команды и части ПВО. А на крышах институтских зданий установили две зенитные батареи.
В октябре 1941 года институт частично эвакуировался на Урал. 411 сотрудников переехали в Свердловск, где был организован Уральский филиал ЦНИИТМАШ, оказывающий техническую помощь заводам Урала и Сибири.
12 декабря 1941 года во время налета вражеской авиации у входа в механосборочный цех упала авиабомба.
В 1944 году ЦНИИТМАШ совместно с Коломенским паровозостроительным заводом начал разработку нового массового паровоза «Победа» (впоследствии по фамилии главного конструктора Л. С. Лебедянского, обозначенного серией «Л»). Закончили разработку в 1945 году.
29 ноября 1944 года при ЦНИИТМАШе было создано Центральное конструкторское бюро металлургического машиностроения (ЦКБ ММ), в 1959 году реорганизованное во Всероссийский научно-исследовательский и проектно-конструкторский институт металлургического машиностроения (ВНИИМЕТМАШ).