Фамилия Каргалов в своей основе почти наверняка имеет не личное имя, а прозвище или указание на место жительства. Самая прямая версия связывает её с топонимом Каргала — так называется местность и посёлок в окрестностях Алма-Аты, на территории современного Казахстана. Человек, переселившийся оттуда в русские земли, мог получить прозвище Каргал, то есть «выходец с Каргалы». За этим прозвищем и закрепился патронимический суффикс -ов, образовавший фамилию по модели «чей потомок?» — Каргалов.

Есть и вторая версия, которая не исключает первую, а скорее дополняет её. Прозвище Каргал могли дать не по месту выхода, а по внешнему сходству или образу жизни: так на Руси могли назвать человека, чем-то напоминавшего степных жителей — например, смуглого, черноволосого или носившего одежду в «казахском» стиле. В этом случае прозвище становится этнической характеристикой, а не географической привязкой.

Интересно, что фамилия Каргалов встречается и в других регионах, не связанных с Казахстаном. Например, в Поволжье и на Урале, где исторически были сильны тюркские влияния. Там топоним Каргала мог означать не конкретный посёлок, а реку или урочище с тем же названием — в тюркских языках «карга» означает «ворона», так что Каргала могло быть тёмным, «вороньим» местом. В таком случае фамилия образована от местного названия, а не от казахского посёлка.

Словообразовательная модель проста: основа Каргал + патронимический суффикс -ов. Это типичная русская фамилия, закрепившаяся за потомками человека по прозвищу Каргал. Сословная принадлежность предков могла быть разной — от крестьян и казаков до служилых людей, но точных данных об этом нет.