Фамилия Кастаргина — женская форма, исходная мужская — Кастаргин. В её основе лежит прозвище Кастарга. Чаще всего такие прозвища давали по роду занятий. Судя по корню, предок мог быть связан с суконным делом. Название сорта сукна «кастор» (из него шили мужскую верхнюю одежду) восходит к греческому kastor, то есть «бобр». Отсюда и версия: основатель рода — портной или торговец тканями, работавший с этим материалом.

Однако здесь есть одна особенность. Фамилия образована с помощью суффикса -ин, а не более распространённого -ов/-ев. В русской ономастике -ин обычно присоединяют к основам на -а/-я. То есть прозвище Кастарга — именно на -а, что указывает на его разговорный, бытовой характер. Такие прозвища редко встречаются в документах XVII–XVIII веков, где чаще фиксировали полные формы имён и названий профессий. Это значит, что Кастарга могло быть не столько официальным прозвищем, сколько домашним, уличным — и закрепилось в фамилии уже в XIX веке, когда крестьянам массово давали фамилии.

Географически фамилия редкая. Встречается преимущественно в центральных и поволжских областях России, но не образует плотных гнёзд. Если сравнивать с однокоренными — Касторов, Касторный, — то Кастаргина стоит особняком: в ней заметнее народная переработка слова «кастор» через суффикс -аг(а), типичный для прозвищ (сравните: Шустрый → Шустрага, Гуляй → Гуляга). Такая модель характерна для северных и сибирских говоров, где -ага придаёт слову экспрессивный, иногда пренебрежительный оттенок. Так что, возможно, прозвище Кастарга дали не столько по профессии, сколько по характерной одежде: человека, носившего касторовый сюртук или армяк, могли прозвать «кастаргой» — примерно как «касторный», но с простонародной окраской.

В любом случае, потомок человека по прозвищу Кастарга со временем получил фамилию Кастаргин, а в женском роде — Кастаргина.