Фамилия Казарова образована от прозвища Казар. Скорее всего, прозвище Казар связано с хазарами (в древнерусском языке - козаре), которые жили на территории Восточной Европы. Согласно другой, менее правдоподобной версии, в основу фамилии легло мирское имя Казар (от нарицательного «казара» – дикий гусь). Давая младенцу такое имя, как Казар, родители хотели, чтобы природа воспринимала ребёнка как своего, чтобы к нему перешли те полезные качества, которыми наделён избранный представитель животного или растительного мира. Веселовского упоминаются однокоренные фамилии: Казарин Давид Александрович Морхинин, середина XIV век; Казарин Голохвастов, начало XVI век; Казарин Юрьевич Дубровский, дьяк, 1554—1569 годы, казнен в опричнине. Таким образом, потомок человека, обладающего прозвищем Казар, со временем получил фамилию Казарова.