Фамилия Касторновы — одна из тех, что хранит в себе память о ремесле или, что реже, о древнем названии звезды. В основе фамилии лежит прозвище Касторн, а оно, скорее всего, восходит к слову «кастор». Так в старину называли плотную шерстяную ткань с коротким, приглаженным ворсом — из неё шили добротные зимние пальто, сюртуки и шинели. Человек, получивший прозвище Касторн, мог быть портным, суконщиком или торговцем, который постоянно имел дело с этим материалом. В русских говорах слово «кастор» было хорошо известно, и прозвище, данное по роду занятий, легко закреплялось.

Есть и другая, менее вероятная версия. Кастор — это название звезды второй величины в созвездии Близнецов. В античной мифологии Кастор и Поллукс — братья-близнецы, сыновья Леды. Однако для крестьянской или купеческой среды, где чаще всего и возникали такие фамилии, называть человека в честь далёкой звезды было нехарактерно. Прозвища по небесным телам встречаются, но значительно реже, чем по профессиям или внешним признакам. Поэтому версия с тканью выглядит убедительнее.

По своей словообразовательной модели фамилия Касторнов — типичный пример русской патронимической (или, в данном случае, прозвищной) фамилии. Суффикс -ов указывает на принадлежность: «сын Касторна» или «из семьи Касторна». Такая модель стала господствующей в центральной России и на севере, вытеснив более древние формы на -ин. Интересно, что фамилия могла звучать и как Касторный, если бы прозвище было оформлено прилагательным, но закрепился именно вариант с суффиксом принадлежности.

С уверенностью говорить о точном месте возникновения фамилии Касторновых сейчас трудно — процесс становления фамилий растянулся на несколько столетий. Но можно предположить, что её корни ведут в среду ремесленников или мелких торговцев, для которых работа с сукном была привычным делом. Фамилия эта не слишком распространена, что делает её своеобразным памятником не только языку, но и истории русского костюма и быта.