Фамилия Казарцев образована от прозвища Казарец, а оно, в свою очередь, восходит к этнониму «хазары» (в древнерусском произношении — «козаре»). Хазары — тюркоязычный народ, создавший в VII–X веках крупное государство в Восточной Европе, которое контролировало важные торговые пути и долгое время соперничало с Древней Русью. Прозвище Казарец могли дать человеку, который имел внешние или поведенческие черты, напоминавшие хазар, либо торговал с ними, либо происходил из мест, где память о хазарах была жива.

В словаре Владимира Даля есть и другая грань значения: слово «казара» (а также «казарра», «казарры», собир.) в уральских говорах иногда употреблялось шуточно или пренебрежительно по отношению к уральским казакам. Это могло дать прозвище, а затем и фамилию в казачьей среде. Менее вероятная, но тоже возможная версия связывает основу с нецерковным именем Казара, которое восходит к названию дикого гуся — казарки. Такие «птичьи» имена были распространены на Руси до введения христианства.

Фамилия строится по стандартной модели: прозвище Казарец (человек, имеющий отношение к хазарам или казакам) плюс типичный русский патронимический суффикс -ев (форма родительного падежа: «чей?» — Казарцев, то есть сын Казарца). Суффикс -ец в основе прозвища указывает на принадлежность к какой-либо группе или местности, что усиливает версию об этническом или социальном прозвище. С точки зрения географии, фамилия встречается в разных регионах России, но заметна её концентрация в Поволжье и на юге — в местах, где исторически проходили границы расселения славян с кочевыми народами, включая хазар, и где формировалось казачество.