Фамилия Касторнов — редкий случай, когда прозвище предка, скорее всего, указывало не на характер, а на материал, с которым он работал. В основе лежит слово «кастор» — так в XIX веке называли плотную шерстяную ткань с коротким приглаженным ворсом. Из неё шили добротные зимние пальто, которые в просторечии так и звались — «касторовые». Человек, получивший прозвище Касторн, с большой вероятностью был портным или торговцем сукном, то есть постоянно имел дело с этой дорогой и практичной материей. Суффикс -ов указывает на принадлежность: Касторнов — сын Касторна.

Реже прозвище связывают с астрономией: Кастор — одна из двух ярчайших звёзд в созвездии Близнецов. Эта версия менее правдоподобна, поскольку прозвища от названий звёзд в русской среде встречаются редко и обычно носят книжный, семинарский характер. Фамилия Касторнов к таким искусственным фамилиям не относится — её корень чисто бытовой, ремесленный.

В словарях русских фамилий (в частности, у Б. Унбегауна) модель «название ткани + -ов» встречается нечасто, что делает фамилию Касторнов заметной на фоне более привычных портновских фамилий вроде Суконников или Скорняков. Встречается она преимущественно в центральных и южных губерниях, где была развита торговля сукном, но точных цифр по распространённости нет.