Фамилия Казарцевы, как и многие русские фамилии, начинается с прозвища. В её основе лежит слово «Казарец», а корни уходят в историю Восточной Европы. Самая вероятная версия связывает прозвище с хазарами — в древнерусском языке их называли «козаре». Хазарский каганат был мощным соседом Древней Руси, и память об этом народе закрепилась в языке: уральских казаков, например, в некоторых говорах шутливо или пренебрежительно называли «казара», «казарра». Человек, получивший прозвище Казарец, мог либо происходить из тех мест, где это слово бытовало, либо внешне или по характеру напоминать потомков хазар.

Есть и другая, менее правдоподобная гипотеза. По ней прозвище образовано от нецерковного имени Казара, которое, в свою очередь, восходит к названию птицы — дикого гуся (казара). Такие «птичьи» имена были в ходу у славян до повсеместного внедрения христианских святцев. Однако связь с хазарами выглядит исторически более обоснованной: этот этноним оставил заметный след в русской топонимике и диалектах.

Суффикс ‑ев в фамилии Казарцев указывает на стандартную патронимическую модель: «чей?» — «сын Казарца». О времени и точном месте возникновения фамилии судить трудно — процесс закрепления фамилий в разных слоях населения шёл несколько столетий, с XV по XIX век. Ясно одно: фамилия Казарцев — не случайный набор звуков, а живой отголосок древних этнических контактов, запёчатлённый в русской ономастике.