Фамилия Казарбина — женская форма от Казарбин, и её основа почти наверняка связана с тюркским словом «казар» или «хазар». В русских говорах и документах XVI–XVII веков «казар» нередко означало хазарина — представителя народа, который в средневековье контролировал южные степи, но к тому времени уже растворился среди других этносов. Однако прозвище Казар могло даваться не по этнической принадлежности, а по внешнему сходству или по месту жительства — например, в районах бывшего Хазарского каганата, где память о хазарах сохранялась в топонимах.

Модель образования простая: суффикс -ин указывает на принадлежность («чей?»), то есть Казарбин — сын или потомок Казара. Такая фамилия характерна для южнорусских и казачьих областей, где тюркские заимствования в прозвищах были обычным делом. Встречается она и в Поволжье, и на Дону, что подтверждает её связь с пограничными регионами, где смешивались славянские и степные элементы.

Есть и менее вероятная версия: от греческого «казарма» — казарма, но тогда фамилия звучала бы как Казармов или Казармский. Суффикс -ин в этом случае необъясним, поэтому тюркская основа остаётся главной. Никаких сведений о знатных носителях фамилии Казарбина в дореволюционных родословных книгах нет — это фамилия крестьянская или мещанская, что типично для прозвищного происхождения.