Сформирована в июне 1931 г. из Морских сил Каспийского моря. Главная база — г. Баку.

К началу Великой Отечественной войны в ее составе имелось 5 канонерских лодок (отдельный дивизион), два торпедных катера, отдельная береговая артиллерийская батарея, 13 боевых самолетов, радиорота воздушного наблюдения, оповещения и связи и ряд отдельных береговых частей. С началом войны флотилия обеспечивала морские перевозки военных и народно-хозяйственных грузов. В августе 1941 г. на ее кораблях были переброшены в Иран советские войска. В октябре она сформировала из добровольцев и отправила на фронт батальон морской пехоты. В битве под Москвой участвовала образованная из личного состава Каспийской военной флотилии 75-я отдельная морская стрелковая бригада, ставшая впоследствии 3-й гвардейской морской стрелковой бригадой. В августе 1942 г. Каспийская военная флотилия включена в состав действующих сил Военно-Морского флота. К этому времени боевой состав был усилен канонерской лодкой, тремя сторожевыми кораблями, 6 бронекатерами, 5 большими и 5 малыми катерами-охотниками, 11 сторожевыми катерами, 6 тральщиками и катерами-тральщиками, тремя плавучими зенитными батареями, минным заградителем и другими кораблями. Корабли флотилии сопровождали транспорты с нефтью и грузами, осуществляли боевое траление, выполняли задачи ПВО в своей зоне, высадили оперативный десант. В августе-сентябре флотилия перебросила на западное побережье Каспийского моря 2 стрелковых и кавалерийский корпуса, сыгравших важную роль в контрнаступлении Северной группы войск Закавказского фронта. Кроме того, в период обороны Кавказа было перевезено 11 стрелковых бригад, 5 стрелковых полков, свыше 1000 танков и бронемашин, 18,5 тыс. лошадей, более 8 тыс. орудий, 4 тыс. автомашин и 200 самолетов. Всего за 1942-1943 гг. было перевезено 21 млн тонн нефтепродуктов и около 3 млн тонн других грузов. К этому времени состав флотилии значительно пополнился, в 1943 г. в ней насчитывалось 175 кораблей. За годы войны Каспийская военная флотилия достроила, доукомплектовала и отремонтировала свыше 250 катеров и других кораблей, передала в Красную Армию на укомплектование частей около 4 тыс. подготовленных бойцов.

Указом Президиума Верховного Совета СССР от 27 апреля 1945 г. флотилия награждена орденом Красного Знамени.

Командующие: контр-адмирал Седельников Ф.С. (июнь 1941 г.-сентябрь 1944 г.); контр-адмирал Зозуля Ф.В. (сентябрь 1944 г. — до конца войны).

Члены Военного совета: полковой комиссар Панченко Н.Г. (июнь 1941 г. — июль 1942 г.); корпусной комиссар, с декабря 1942 г. контр-адмирал Игнатьев С.П. (июль 1942 г. — до конца войны).

Начальники штаба: капитан 1 ранга Алексеев И.И. (июнь 1941 г. — апрель 1942 г.); капитан 1 ранга Фокин В.А. (апрель 1942 г. — март 1944 г.); капитан 2 ранга Чирков Н.И. (март — май 1944 г., врид); капитан 1 ранга Брахтман Г.И. (май 1944 г. — до конца войны).