Фамилия Афитовы образована от мужского имени Афит, которое, скорее всего, восходит к арабскому корню со значением «единый» (через вариант Вафит, Вахид). По другой версии, имя Афит — фонетический вариант азербайджанского имени Афет, означающего «несчастье». В тюркской традиции такие имена давали как оберег: считалось, что «плохое» имя отпугнёт злых духов и на самом деле принесёт ребёнку счастье.

Корни фамилии уходят в XV–XVII века, в среду выходцев из Золотой Орды — печенегов или половцев. В ту пору многие нерусские дворяне и служилые люди вливались в состав российского дворянства, принося с собой имена и прозвища, от которых затем образовывались фамилии. Суффикс -ов указывает на типичную русскую патронимическую модель: «чей?» — Афитов, то есть сын или потомок Афита.

Само имя Афит — редкое, что делает и фамилию не слишком распространённой. Она представляет собой не просто родовое прозвание, а осколок восточной письменной и устной традиции, закрепившийся в русской фамильной системе.