Фамилия Касторнова — редкий пример, где основа прозвища связана с тканью, а не с именем или профессией в её общем виде. В центре версии — слово «кастор»: плотная шерстяная ткань с коротким сглаженным ворсом. В XIX веке из такого сукна шили добротные зимние пальто, дороже обычного драпа. Если предок получил прозвище Касторн, скорее всего, он был портным, работавшим именно с этим материалом, или торговцем, который его продавал. Суффикс -ов- в фамилии указывает на принадлежность: «сын Касторна».

Менее вероятна, но встречается в народной этимологии связь с названием звезды Кастор — одной из двух ярких звёзд в созвездии Близнецов. Однако для прозвища астрономический корень маловероятен: в русской деревне звезду называли просто, без книжного имени, а фамилии от названий звёзд — явление позднее и редкое, чаще среди духовенства. Здесь же перед нами типичная ремесленная фамилия: основа — предмет обихода, а не небесное тело.

Форма Касторнова — женская; мужской вариант — Касторнов. Фамилия немногочисленна, встречается в центральных областях России и на юге, где портновское дело было развито. Однокоренные фамилии — Касторов, Касторский — тоже восходят к тому же слову, но с разными суффиксами. В словарях русских фамилий (например, у Б. Унбегауна) «кастор» как основа прозвища не фиксируется массово, что делает фамилию Касторнова особенно интересной для локальной ономастики.