В 1918 году Громов окончил Московскую летную школу и поступил на службу в Рабоче-Крестьянскую Красную Армию. В годы Гражданской войны он принимал участие в боях на Восточном фронте летчиком 29-го разведывательного авиаотряда. После окончания боевых действий стал летчиком-инструктором в 1-й Московской авиашколе, а затем стал командиром учебного авиаотряда Серпуховской авиашколы, где одним из его курсантов был Валерий Чкалов.

С 1924 по 1930 годы Михаил Громов работал летчиком-испытателем НИИ ВВС, испытывал самолеты У-2, И-4, И-3, АНТ-9 и Р-6. В 1925 году Громов стал участником первого дальнего перелета советских летчиков по маршруту Москва-Пекин-Токио, за что был награжден орденом Красного Знамени. В 1930-1941 годах Михаил Михайлович трудился летчиком-испытателем в ЦАГИ и участвовал в испытаниях многих советских самолетов, в числе которых были ТБ-3, АНТ-20, Пе-8 и других. В этот же период им были совершены два сверхдальних перелета.

В 1934 году Громов в качестве командира экипажа совершил за 75 часов рекордный по дальности перелет по маршруту Москва – Рязань – Харьков протяженностью 12 411 километров. За этот полет Михаил Михайлович был удостоен звания Героя Советского Союза. Спустя три года, в 1937 году, экипаж под его руководством совершил сверхдальний перелет по маршруту Москва – Северный полюс – Сан-Джасинто, во время которого было установлено 3 мировых рекорда дальности полета. Заслуги Громова были отмечены орденом Красного Знамени, а члены экипажа А.Б. Юмашев и С.А. Данилин стали Героями Советского Союза.

Во время Великой Отечественной войны Михаил Громов участвовал в закупке американских самолетов для советских ВВС, а в декабре 1941 года занял должность 31-й авиадивизии Калининского фронта. В последующие годы он командовал ВВС Калининского фронта, а затем возглавлял 1-ю и 3-ю воздушные армии.

По окончании войны Михаил Громов продолжил службу в армии: в 1946-1949 годах он был заместителем командующего Дальней авиацией, а в 1949-1955 годах начальником Управления летной службы Министерства авиапромышленности. С 1955 года ушел в запас. В последующие годы Михаил Михайлович занимался спортом и общественной деятельностью. Спортсмены возглавляемой им Федерации тяжелой атлетики СССР (в течение всей жизни Громов активно занимался тяжелой атлетикой и являлся чемпионом СССР по данному виду спорта) в 1960 году блестяще выступили на Олимпийских играх и завоевали 5 золотых наград.

Выдающегося советского летчика не стало 22 января 1985 года.