Скорее всего, прозвище Каргов восходит к диалектному русскому слову "корга", что значит "берег", "пешая дорога по песчаному берегу", "взморье", "каменистая береговая россыпь". Очевидно, прозвище Каргов указывает на место жительства предка - на берегу реки или моря. Изменение корневого гласного "о" на "а" стало результатом влияния на графический облик фамилии произносительной нормы русского языка.