Фамилия Кафарский — редкий случай, где географическая привязка почти наверняка перевешивает прозвищную или личную основу. Суффикс -ский указывает на происхождение от названия места, и почти всегда это или польская шляхетская фамилия, или фамилия духовенства, образованная от названия села или города. В данном случае корень «Кафар» ведёт к топониму Кафа — старинному названию Феодосии в Крыму, которое использовалось в генуэзский и османский периоды. Выходец из Кафы, переселившийся в другую местность, мог получить прозвание Кафарский — «тот, кто из Кафы».

Менее вероятна, но возможна версия от имени собственного Кафар. Имя это встречается в библейской традиции (Кафар — арамейское «село» или «деревня», входит в состав многих палестинских топонимов, например Капернаум), но в русском быту оно было редкостью. Скорее всего, если Кафарский — не географическая фамилия, то её основа — прозвище от тюркского или арабского слова, например «кафир» (неверный, иноверец). Но в таком случае форма была бы Кафиров или Кафирский, а не Кафарский. Звук «а» в корне заставляет склоняться именно к топониму Кафа.

Фамилия явно не массовая. В дореволюционных списках она почти не встречается за пределами южных губерний — Новороссии, Таврической губернии, откуда шла миграция из Крыма. Встречается также в среде православного духовенства: выпускники семинарий нередко получали фамилии по названиям мест, где служили их отцы, или по монастырям. Кафарский мог быть семинарской фамилией, данной в честь древнего города.

Социальный контекст прост: носители фамилии — или потомки крымских греков, армян, русских, живших в Феодосии, или выходцы из духовного сословия. Дворянского герба с такой фамилией в «Общем гербовнике» нет, но отдельные роды Кафарских могли входить в польскую шляхту, если топоним находился на территории Речи Посполитой (например, Кафаровка или Кафары в Беларуси). Однако документальных подтверждений этому мало.

Сравнение с однокоренными фамилиями — Кафтанов, Кафтырев — показывает, что корень «каф-» в русских фамилиях чаще связан с одеждой (кафтан) или с тюркскими заимствованиями. Кафарский стоит особняком: его основа — не бытовое слово, а имя города. Поэтому главная версия — географическая, и она же самая надёжная.