Скорее всего, прозвище Казарец связано с хазарами (в древнерусском языке - козаре), которые жили на территории Восточной Европы. Малечи говорится следующее: «Казара, казарра, -рре, собир., иногда шуточно или пренебреж., - уральские казаки». Согласно другой, менее вероятной точке зрения, в основу фамилии легло нецерковное имя Казара (от нарицательного «казара» – дикий гусь). Таким образом, потомок человека, обладающего прозвищем Казарец, со временем получил фамилию Казарцев.