В шахматы пятилетнего Владимира научил играть отец педагог и научный работник. С началом Великой Отечественной войны Загоровский вместе с матерью был эвакуирован. Школу он окончил в Орске, причем экстерном. Оказался в армии, однако в боевых действиях не участвовал и уже после Победы окончил училище связи в Ленинграде. Последующие десять лет Загоровский был офицером советской армии.

В 1947 году Загоровский вышел в полуфинал чемпионата СССР, где занял шестое место. Этого результата немного не хватило для выхода в финал, зато хватило для присвоения звания мастера спорта. В 1951 году Загоровский выиграл чемпионат ВС СССР и занял второе место в чемпионате Москвы, а на следующий год стал уже чемпионом столицы.

Параллельно с игрой в шахматы Загоровский заочно отучился на историческом факультете Воронежского пединститута. После демобилизации из рядов Вооруженных Сил и получения диплома Владимир перешел работать в Воронежский государственный университет. Времени на участие в турнирах теперь не хватало, и Загоровский увлекся заочной игрой.

В 1961 году Загоровский защитил диссертацию в Ленинградском государственном университете по теме «Судостроение на Дону в XVII веке и использование Россией донского парусно-гребного флота в борьбе против Крымского ханства и Турции». А через восемь лет в своем родном университете защитил уже и докторскую по теме «Белгородская черта». Эта диссертация была издана отдельной книгой.

В 1957 году Загоровский начал преподавать в университете, потом стал доцентом, а с 1970 года – профессором. С 1971 по 1992 год был заведующим кафедрой истории России досоветского периода. В 1982-1985 годах – председателем Воронежского областного отделения Всероссийского общества охраны памятников истории и культуры. Из-под пера Загоровского вышли многочисленные труды по истории России и Воронежского края, а его сын также стал известным в Черноземье историком.

При всем этом Загоровский успевал серьезно играть по переписке и в 1962-1965 годах стал чемпионом мира. В 1965 ему было присвоено звание гроссмейстера ИКЧФ. В чемпионате мира 1968-1971 годов он занял второе место, а в 1975-1980 разделил 1-2, но по дополнительному коэффициенту вынужден был довольствоваться серебром. В 1970-1973 выиграл международный турнир, организованный шахматной федерацией Швейцарии, в 1966 — побочный турнир в Гавре. В составе советской команды Владимир Павлович дважды брал золотую и один раз серебряную медали заочной олимпиады.

С 1975 по 1994 год Загоровский занимал пост вице-президента Международной федерации заочных шахмат. С 1981 года был председателем Совета по заочным соревнованиям шахматной федерации СССР. Благодаря своим обширным теоретическим познаниям тренировал очные сборные СССР на студенческих Олимпиадах. В 1991 году ему было присвоено звание мастера спорта.

Владимир Загоровский активно участвовал в развитии шахмат в родном Воронеже: тренировал молодых шахматистов, организовывал ветеранские турниры, в которых сам же и участвовал. Чемпиона мира по переписке не стало 6 ноября 1994 года. В память о Загоровском в Воронеже установлена мемориальная доска.