Основой фамилии Азаров послужило мирское имя Азар. Известно, что на территории Рязанской губернии проживало несколько родов Азаровых, причем один из них приобрел двойную фамилию - Азаровы-Храповы. Впоследствии потомки этого рода, проживавшего на территории той же губернии разделились на два, т.е. Азаровых и Храповых. Род Азпровых-Храповых (в старину также Озаровы) вел свое начало от Ивана Исаевича Азарова (1676) и записан в VI часть родословной книги Рязанской губернии.