Фамилия Кастаргин — один из тех случаев, когда за привычным русским окончанием скрывается корень, пришедший из античного мира. В основе фамилии лежит прозвище Кастарга, а в его основе — слово «кастор». Так в старину называли один из сортов плотного шерстяного сукна, из которого шили добротную верхнюю мужскую одежду: сюртуки, шинели, армяки. Само слово «кастор» восходит к греческому kastor — «бобр». Связь простая: ткань назвали по имени грызуна из-за схожести фактуры с густым и блестящим мехом бобра.

Появление прозвища Кастарга у конкретного человека, скорее всего, указывает на его ремесло. Потомок, получивший фамилию Кастаргин, мог быть портным, специализировавшимся на работе именно с этим дорогим и статусным материалом, либо торговцем сукном. Менее вероятно, но не исключено, что прозвище прилипло к щеголю, который выделялся в окружении одеждой из кастора.

Модель образования фамилии типична для русского севера и центральных областей: суффикс -ин присоединялся к основам на -а, превращая прозвище в фамилию по принципу «чей сын?» — «Кастаргин». Фамилия редкая, в списках массовых не значится, что говорит о локальном бытовании прозвища. Её стоит отличать от более распространённых Касторных или Касторкиных — там та же тканевая основа, но другие суффиксальные варианты.