Фамилия Касторнов образована от прозвища Касторн. В его основе лежит слово «кастор» - «плотная шерстяная ткань с коротким сглаженным ворсом». Скорее всего, предок обладателя фамилии Касторнов был портным и использовал эту ткань для пошива зимних пальто. Менее вероятной представляется этимологическая связь прозвища с названием звезды 2-й звездной величины Кастор. Это одна из двух ярких звезд созвездия Близнецов. Таким образом, потомок человека, обладающего прозвищем Касторн, со временем получил фамилию Касторнов.