Фамилия Кастаргин — одна из тех русских фамилий, что образованы от прозвища, а не от крестильного имени. В основе лежит прозвище Кастарга, которое, скорее всего, связано с названием сорта сукна — кастор. Из этого плотного ворсистого материала в старину шили верхнюю мужскую одежду, в основном сюртуки и шинели. Само слово «кастор» восходит к греческому kastor (κάστωρ), то есть «бобр» — возможно, из-за сходства ткани по ворсу с бобровым мехом.

Если принять эту версию, то прозвище Кастарга мог получить либо портной, работавший с дорогим сукном, либо торговец тканями. Фамилия образована по стандартной русской модели с суффиксом -ин, который указывает на принадлежность: «чей?» — Кастаргин, то есть сын или потомок Кастарги. Это типичная патронимическая фамилия, но не от имени, а от прозвища по роду занятий.

Встречаются и другие гипотезы. В диалектах слово «кастарга» могло означать нечто скрученное, сбитое или неопрятное, но эта версия менее убедительна, так как не объясняет прямую связь с конкретным ремеслом. Поскольку фамилия Кастаргин — редкая, её географическая привязка размыта. В доступных источниках она не фиксируется как массовая в каком-либо одном регионе, что характерно для «профессиональных» прозвищ, которые могли возникнуть в любом городе или селе, где работали портные. Точное время появления фамилии установить сложно, но, судя по суффиксу, она оформилась не позднее XVII–XVIII веков, когда процесс закрепления фамилий у крестьян и ремесленников шёл особенно активно.