Фамилия Каргов образована от личного прозвища и относится к распространенному типу русских фамилий. Скорее всего, прозвище Каргов восходит к диалектному русскому слову "корга", что значит "берег", "пешая дорога по песчаному берегу", "взморье", "каменистая береговая россыпь". Очевидно, прозвище Каргов указывает на место жительства предка - на берегу реки или моря. Изменение корневого гласного "о" на "а" стало результатом влияния на графический облик фамилии произносительной нормы русского языка. Таким образом, потомок человека, обладающего прозвищем Каргов, со временем получил фамилию Каргов. О точном месте и времени возникновения фамилии Каргов в настоящее время говорить сложно, поскольку процесс формирования фамилий был достаточно длительным. Тем не менее, фамилия Каргов представляет собой замечательный памятник славянской письменности и культуры.