31-я армия первого формирования создана в июле 1941 г. (директива Генерального штаба от 6 июля 1941 г.) в Московском военном округе, сначала как полевое управление 24-й армии, а с 16 июля как 31-я армия.

В нее вошли 244, 246, 247 и 249-я стрелковые дивизии, ряд артиллерийских и других частей.

15 июля включена во Фронт резервных армий и к 22 июля в составе 119, 245, 246, 247, 249-й стрелковых и 110-й танковой дивизий сосредоточена в районе Ржева. С 30 июля в составе Резервного фронта занимала оборону на рубеже Осташков, Ельцы, Зубовка (45 км западнее Ржева), Тишина. В сентябре вела тяжелые оборонительные бои и в начале октября в составе Западного фронта (с 5 октября) под ударами превосходящих сил противника отошла к Ржеву.

12 октября 1941 г. армия расформирована, ее соединения и части переданы 29-й армии, полевое управление выведено в резерв фронта.

Командующие: генерал-майор Ракутин К.И. (июнь-июль 1941 г.); генерал-майор Долматов В.Н. (июль-октябрь 1941 г).

Член Военного совета генерал-майор Русских А.Г. (июль 1941 г. — октябрь 1941 г.).

Начальники штаба: полковник Хотимский З.И. (июль-сентябрь 1941 г.); полковник Анисимов Н.П. (октябрь 1941 г).

31-я армия второго формирования создана 21 октября 1941 г. в составе Калининского фронта, ее управление объединило 133, 252-ю стрелковые дивизии, 8-ю танковую бригаду и ряд отдельных частей, оборонявшихся в районе севернее и северо-западнее Калинина. Участвовала в Калининской оборонительной операции, а с началом контрнаступления под Москвой — в Калининской наступательной операции 1941-1942 гг. В ходе последней во взаимодействии с 29-й армией нанесла поражение основным силам немецкой 9-й армии и освободила Калинин (16 декабря). Развивая наступление на Ржев, войска армии к концу декабря вышли к Волге в районе северо-восточнее Зубцова. Зимой и весной 1942 г. она принимала участие в Ржевско-Вяземской стратегической наступательной операции. С 20 апреля армия перешла к обороне восточнее Зубцова и в последующем, прочно удерживая занимаемый рубеж, вела наступательные бои на сычевском направлении с целью улучшения своих позиций.

С 23 июля входила в Западный фронт и в его составе участвовала в Ржевско-Сычевской наступательной операции. В ходе Ржевско-Вяземской операции 1943 г. она освободила Сычевку (8 марта) и к 1 апреля вышла в район восточнее Ярцево, где перешла к обороне. В Смоленской стратегической операции соединения 31-й армии во взаимодействии с другими войсками фронта прорвали ряд оборонительных рубежей противника, нанесли поражение его основной группировке, освободили города Ярцево (16 сентября), Смоленск (25 сентября) и вышли на правый берег Днепра северо-восточнее Орши. Летом 1944 г. армия в составе 3-го Белорусского фронта (с 24 апреля) участвовала в освобождении Белоруссии. В Витебско-Оршанской операции после прорыва глубоко эшелонированной обороны противника во взаимодействии с 11 -и гвардейской армией овладела Оршей (27 июня) и в конце июня вышла к р. Березина в районе Борисова. В ходе Минской операции участвовала в окружении и разгроме крупной группировки противника, освобождении Борисова (1 июля) и Минска (3 июля). В Вильнюсской операции войска армии освободили г. Друскенинкай (14 июля) и во взаимодействии с 50-й армией и 3-м кавалерийским корпусом-Гродно (16 июля). В августе они вышли в район Сувалки и временно перешли к обороне на рубеже озер Вигры, Суха Жечка. В октябре участвовали в наступательной операции фронта на гумбинненском направлении, в ходе которой вступили в Восточную Пруссию.

В Восточно-Прусской стратегической операции 1945 г. армия ударом в направлении Летцен (Гижицко), Растенбург (Кентшин), Хейльсберг (Лидзбарк Варминьски) прорвала хейльсбергский укрепленный район и 28 марта вышла к заливу Фришес-Хафф (Вислинский).

2 апреля армия выведена в резерв Ставки ВГК, 21 апреля передана 1-му Украинскому фронту и в его составе участвовала в Пражской операции.

В начале сентября 1945 г. армия расформирована, ее полевое управление обращено на доукомплектование управления Львовского военного округа.

Командующие: генерал-майор Юшкевич В.А. (октябрь 1941г. — март 1942 г.); генерал-майор Вострухов В.И. (март-апрель 1942 г.); генерал-майор Поленов В.С. (апрель 1942 г. — февраль 1943 г.); генерал-майор, с сентября 1943 г. генерал-лейтенант Глуздовский В.А. (февраль 1943 г. — май 1944 г.); генерал-лейтенант, с 15 июля 1944 г. генерал-полковник Глаголев В.В. (май-декабрь 1944 г.); генерал-лейтенант Шафранов П.Г. (декабрь 1944 г. — до конца войны).

Члены Военного совета: генерал-майор; с июня 1943 г. генерал-лейтенант Русских А.Г. (октябрь 1941 г. — апрель 1944 г.); генерал-майор Карпенков Д.А. (апрель 1944 г. — до конца войны).

Начальники штаба: полковник, с мая 1942 г. генерал-майор Глуздовский В.А. (октябрь 1941 г. — февраль 1943 г.); полковник, с сентября 1943 г. генерал-майор Щедрин М.И. (февраль 1943 г. — до конца войны).