Фамилия Казаров — это «отчество второго порядка», как и многие русские фамилии на -ов. Она образована от прозвища Казар, которое давали отдельному человеку. Прямой смысловой корень здесь — хазары, в древнерусском языке звучавшие как «козаре». Хазары — тюркский народ, создавший мощное государство в Прикаспии и на Нижнем Дону, с которым Русь долго воевала и торговала. Поэтому прозвище Казар в средневековой Руси мог получить либо человек, напоминавший хазарина внешностью или повадками, либо тот, кто имел с ними дело — купец, пленник, переводчик.

Менее убедительная версия выводит прозвище из нарицательного «казара» — дикого гуся. Обрядовая практика давать детям «птичьи» имена (Гусь, Лебедь, Сокол) действительно существовала у славян, но в случае с Казаром она слабее: основа «хазар» исторически перевешивает. Скорее всего, перед нами не тотемное имя, а этническое прозвище.

Исторические документы подтверждают, что фамилия и её однокоренные варианты бытовали на Руси с XIV века. У С. Б. Веселовского в его ономастических разысканиях встречаются Казарин Давид Александрович Морхинин (середина XIV века), Казарин Голохвастов (начало XVI века) и Казарин Юрьевич Дубровский — дьяк, работавший в 1554–1569 годах и казнённый во времена опричнины. Эти записи показывают, что прозвище Казар и его производные носили люди разного сословия: от землевладельцев до приказных.

Фамилия Казаров — не единственная в этом гнезде. Есть Казаринов, Казарцев, Казарский. Все они восходят к одной основе, но различаются суффиксами, указывающими на регион или способ образования. Например, Казарцев — типично северный или рязанский вариант с суффиксом -ев/-ов. Сама же фамилия Казаров, скорее всего, сложилась в центральных областях России, где прозвище Казар не было редкостью. Потомки человека по имени или прозвищу Казар постепенно закрепили за собой фамилию, передававшуюся по мужской линии.