Фамилия Каргозерова — редкий случай, когда географический объект становится родовым именем, причём с характерным для Русского Севера суффиксом. Она образована от названия озера Каргозеро, а точнее — от прозвища или именования человека, жившего на этом озере: «Каргозер» (житель Каргозера). Форма на -ов-а — это притяжательное прилагательное в женском роде, то есть исходно «жена Каргозерова» или «дочь Каргозерова». Мужской вариант — Каргозеров.

Корень «карг-» в топонимах Карелии и Архангельской области обычно связывают с финно-угорским словом, означающим «ворон» (ср. карельск. karga — ворон). Таким образом, Каргозеро — это «Воронье озеро». Вторая часть — «-озеро» — прозрачна. Фамилия, стало быть, переводится как «принадлежащая тому, кто с Вороньего озера».

География фамилии узкая: основные носители зафиксированы в Архангельской области, особенно в Каргопольском районе, и в соседней Вологодской. Это типичная «озёрная» фамилия северных крестьян-поморов. В отличие от фамилий на -ский, которые часто носили дворяне или духовенство, модель на -ов (Каргозеров) — крестьянская, патронимическая по происхождению, но здесь не от имени, а от прозвища по месту жительства.

В русских говорах слово «карга» имеет и другие значения — «старая женщина» или «коряга», но для фамилии топонимическая версия убедительнее. Если бы основой было прозвище «Карга», фамилия звучала бы как Каргин или Каргов. Наличие «-озеро» в основе оставляет мало сомнений: предки Каргозеровых жили на берегу озера с птичьим названием, и их дети получили фамилию по этому месту.