Фамилия Каргин образована от прозвища Карга. Также слово «карга» в значении «старуха» может употребляться в браной речи. Таким образом, прозвище Карга указывает на особенности характера, поведения или внешности основателя рода Каргиных либо свидетельствует о том, что он был родственником или воспитанником неуважаемой соседями пожилой женщины. Таким образом, потомок человека, обладающего прозвищем Карга, со временем получил фамилию Каргин.