Фамилия Хазарова в своей основе имеет прозвище Хазар, которое, в свою очередь, восходит к названию известного кочевого тюркского племени. Хазары появились в степях к северу от Кавказа в начале IV века, вскоре после гуннского нашествия, и долгое время кочевали в Западно-Прикаспийской степи. Вероятно, основатель рода получил это прозвище потому, что был выходцем из этого племени, либо же окружающие находили в его внешности или характере черты, напоминавшие хазар.

История самих хазар богата событиями. В VII веке они завоевали приазовских болгар, а к IX веку создали сильное и процветающее государство — Хазарский каганат, простиравшийся от Крыма до среднего течения Волги и до Днепра на западе. Хазары построили важные торговые города и вели активную торговлю с Русью и Византийской империей. Правитель хазар, каган, был не только политическим, но и духовным лидером своих подданных. Каганы отличались веротерпимостью: они предоставляли убежище тысячам евреев из Малой Азии и Византии, а также мусульманам и христианам. Эти три религиозные группы соперничали между собой за право обратить хазар в свою веру. В середине VIII века каган и его окружение приняли ислам, однако в начале IX века каган Булан объявил государственной религией иудаизм, сменив имя на Обадию. Несмотря на это, каганат сохранял принцип веротерпимости. Окончательно Хазарский каганат был разгромлен в 965 году объединенными усилиями Руси и Византии, а последние остатки хазар в Крыму истребили византийцы и русские дружины в 1016 году.

Словообразовательная модель здесь проста и типична для русских фамилий: прозвище Хазар легло в основу, а суффикс -ов добавил значение принадлежности. Так потомок человека с прозвищем Хазар со временем стал писаться как Хазаров, а для женщин, соответственно, Хазарова. Важно отметить, что фамилия Хазарова — это женская форма, указывающая на женщину из рода Хазаровых.