Фамилия Кастоев — редкий случай, когда суффикс не даёт прямой подсказки о происхождении. В русской модели -ев обычно указывает на принадлежность («чей?»), но основа «Каст» для славянских имён нехарактерна. Если бы фамилия была образована от крестильного имени Кастор (греч. «бобр», позже — имя одного из близнецов-Диоскуров), мы бы скорее ждали форму Касторов или Касторьев. Кастоев же выглядит как адаптация нерусской фамилии под русское окончание.

Скорее всего, Кастоев — это русифицированный вариант фамилии из языков Северного Кавказа. В ингушском и чеченском языках есть фамилия Кастой (ингуш. Кастой, чечен. Кастой) с ударением на последний слог. Она образована от имени Каст (возможно, тюркского или арабского происхождения) по модели, типичной для вайнахских фамилий: к имени добавляется суффикс -ой, обозначающий принадлежность к роду. При переселении в русскоязычную среду или при записи в документах окончание -ой могли заменить на -оев, чтобы фамилия звучала по-русски и склонялась. Таким образом, Кастоев — это «из рода Каста».

Вторая версия, менее вероятная, но возможная для южнорусских регионов: связь с диалектным словом «касть» — пакость, порча, гадость. В этом случае прозвище Каст могли дать человеку с тяжёлым характером или, наоборот, как охранительное имя, чтобы отвести беду. Однако в таком случае фамилия писалась бы через -ин (Кастин) или оставалась бы в форме Кастов. Форма Кастоев для русского прозвища аномальна.

Географически фамилия Кастоев встречается в основном на Северном Кавказе, особенно в Ингушетии и Чечне, и среди ингушей и чеченцев, живущих в других регионах. Если ваш предок носитель этой фамилии, с большой вероятностью он принадлежал к одному из тейпов (родов), где имя Каст было родовым. В дореволюционной России вайнахов записывали в документы часто на слух, и окончание могли менять, чтобы фамилия вписалась в общероссийскую систему. Поэтому в архивах XIX века у одного и того же человека могли встречаться варианты Кастой, Кастоев и даже Кастов.