Фамилия Кастов — относительно редкая, и её происхождение вызывает споры. В основе лежит прозвище Каст, а вот откуда взялось само это прозвище — вопрос, на который у исследователей есть два основных ответа.

Первый и самый прямой: от слова «каста». В русском языке так называют замкнутую общественную группу, которая хранит свою отделенность и привилегии. Значит, прозвище Каст мог получить человек, принадлежавший к какой-то закрытой общности, либо, наоборот, тот, кто резко выделялся из окружения — взглядами или поступками, словно «каста в одном лице». Эта версия лежит на поверхности и не требует сложных разысканий.

Вторая гипотеза ведёт в другую сторону — к латинскому прилагательному castus («чистый, непорочный, целомудренный, благочестивый»). Здесь фамилия оказывается искусственной, семинарской. В духовных училищах таким образом часто «переводили» фамилии на латынь или давали новые, благозвучные, отвлечённым понятиям. Поначалу подобные фамилии служили для идентификации безымянных детей — незаконнорождённых, сирот, найдёнышей, но со временем их стали присваивать и старательным ученикам в награду за благочестие и успехи. Суффикс -ов типичен для русских фамилий, образованных от подобных основ.

Какая из версий правдоподобнее? Первая — бытовая, прозвищная. Она проще и естественнее для крестьянской или мещанской среды, где фамилии чаще всего и возникали. Вторая — книжная, она возможна, но требует, чтобы носитель фамилии вышел из духовного сословия. Скорее всего, разные ветви рода Кастовых имеют разную историю: одни получили фамилию от прозвища, другие — от латинского корня через семинарию. Спор между этими версиями не решён окончательно, и обе имеют право на существование.