Фамилия Кастеров — редкий случай, когда основа, на первый взгляд, ясна, но происхождение может быть совершенно неожиданным. В отличие от большинства русских фамилий на -ов, образованных от крестильных имён (Иванов, Петров) или названий профессий (Кузнецов), корень «кастер» в русском языке отсутствует. Это сразу подсказывает, что перед нами либо заимствование, либо переосмысление иностранного слова.

Первое, что приходит в голову — английское «caster» (тот, кто отливает металл, или же человек, бросающий что-то — например, рыболов, забрасывающий удочку). Однако фамилия Кастеров по своей модели — чисто русская (суффикс -ов указывает на принадлежность: «сын Кастера»). Носители такой фамилии вряд ли были прямыми потомками англичанина. Скорее всего, прозвище Кастер получил человек, имевший дело с литьём: литейщик на заводе, колокольных дел мастер или даже пушечных дел. В русских говорах слово «кастерь» могло означать «мастер, отливающий что-либо», хотя в словарях оно не закреплено. Версия с литьём выглядит самой бытовой и правдоподобной для крестьянской или ремесленной среды.

Есть и вторая, более аристократическая версия. Фамилия могла возникнуть в среде немецких колонистов, которых в XVIII–XIX веках приглашали в Россию. Немецкая фамилия Kaster (от латинского «castrum» — лагерь, крепость, или от названия города Кастер в Германии) при русификации легко получала окончание -ов. В этом случае предок Кастеровых был выходцем из немецких земель, который обрусел и передал фамилию потомкам уже в русской форме.

Третья возможность — топонимическая. В России есть несколько мелких речек и урочищ с названием Кастер (например, в бассейне Оки). Житель такого места получал прозвище Кастер, а его дети становились Кастеровыми. Эта версия слабее, потому что следы таких названий почти не сохранились, но полностью исключать её нельзя.

Суффикс -ов в фамилии Кастеров — самый распространённый в русской ономастике, он не даёт нам подсказки о социальном статусе: так могли называть и крестьянина, и мещанина, и священника. Географически фамилия встречается рассеянно, без ярко выраженного «гнезда» в одной области, что говорит о её относительно позднем и, возможно, неоднородном происхождении. Однозначного ответа о корнях нет, но наиболее вероятно, что первый Кастеров был либо ремесленником-литейщиком, либо потомком обрусевшего немца.