Фамилия Казаровы (в мужском роде — Казаров) образована от личного прозвища или мирского имени Казар. Чаще всего это прозвище связывают с хазарами — тюркоязычным народом, который в древнерусских летописях называли «козарами». Хазары долгое время соседствовали со славянами, и память о них закрепилась в прозвищах: Казаром могли назвать человека смуглого, черноволосого или того, кто торговал с хазарами. Есть и другая версия, менее популярная: в основе лежит слово «казара» — дикий гусь. В этом случае имя Казар относилось к старым славянским «природным» именам: родители давали его, чтобы ребёнок перенял силу и выносливость птицы. Словообразовательная модель простая: суффикс -ов указывает на принадлежность — «сын Казара» или «из рода Казаровых». В ономастических источниках встречаются однокоренные фамилии и исторические личности. С. Б. Веселовский упоминает Казарина Давида Александровича Морхинина (середина XIV века), Казарина Голохвастова (начало XVI века) и Казарина Юрьевича Дубровского, дьяка, который служил в 1554–1569 годах и был казнён в опричнине. Эти примеры показывают, что имя Казар бытовало в разных слоях общества — от служилых людей до дьяков. Точное место и время появления фамилии Казаровы установить трудно: процесс становления русских фамилий растянулся на несколько столетий. Однако ясно, что она относится к древнему пласту русских прозвищных фамилий и сохраняет память о контактах славян с кочевыми народами или о старых славянских именовательных традициях.