Фамилия Кастаргин образована от прозвища Кастарга. В основе прозвища лежит название одного из сортов сукна — кастор, из которого шили верхнюю мужскую одежду. Само же слово «кастор» образовано от греческого kastor — «бобр». Исходя из этого, можно предположить, что основатель рода Кастаргиных был портным или торговцем тканями. Таким образом, потомок человека, обладающего прозвищем Кастарга, со временем получил фамилию Кастаргин.