Фамилия Каргезов — редкий случай, когда географическая привязка почти наверняка перевешивает все остальные версии. Основа фамилии — топоним Каргез, и, скорее всего, её носили выходцы из села или местечка с таким названием. Наиболее вероятный кандидат — село Каргез (Каргезь, Каргезово), которое исторически фиксируется на территории современной Украины, в частности в Харьковской губернии. Если это так, то фамилия образовалась по стандартной модели «от названия места + суффикс принадлежности -ов»: «человек из Каргеза» — Каргезов.

Разобрать фамилию по составу несложно: корень «Каргез», суффикс «-ов». Модель типична для русских фамилий, образованных от географических названий, оканчивающихся на согласный. Суффикс указывает на прямое патронимическое или посессивное значение: чей? — Каргезов, то есть сын (или потомок) человека по прозвищу Каргез, или же житель села Каргез. Второй вариант в данном случае исторически правдоподобнее.

Значение самого корня «каргез» — тёмное. В тюркских языках есть слово «каргыз» (или «каргез») с возможным значением «ястреб» или «хищная птица», но для русской ономастики это экзотика. В славянских говорах ничего похожего не зафиксировано. Поэтому версия с прозвищем от птицы (как, например, Соколов или Ястребов) для Каргезова слабая: слишком редкая и не подкреплённая диалектной базой. Гораздо логичнее считать, что в основе лежит именно название населённого пункта, которое само по себе могло иметь тюркское или иное происхождение.

С точки зрения сословной принадлежности, фамилия не даёт прямых указаний на дворянство или духовенство. Скорее всего, предки-носители фамилии были крестьянами или однодворцами, переселившимися из упомянутого села. Фамилия не получила широкого распространения, что тоже говорит в пользу её локального, «гнездового» происхождения: носители Каргезовых компактно проживали в определённой местности и не разошлись по всей стране.

Если искать аналоги, то фамилия стоит в одном ряду с такими, как Карганов, Каргаполов, Каргашин — все они так или иначе восходят к топонимам или прозвищам с корнем «карг-», который в русских говорах мог означать «ворона» (карга) или относиться к чему-то кривому, изогнутому. Но для Каргезова связь с «вороной» маловероятна из-за суффикса «-ез», нехарактерного для русских прозвищных основ. Так что наиболее надёжная версия — географическая.