Фамилия Каргаловы образована по стандартной русской модели с суффиксом -ов, который указывает на принадлежность: «чей?» — Каргалов, то есть сын или потомок человека по прозвищу Каргал. Вопрос в том, что лежало в основе этого прозвища — здесь у исследователей нет единого мнения, и стоит рассмотреть две основные версии.

Первая версия связывает фамилию с тюркским миром. Имя Каргали (или Карагали) составное: «кара» и «Гали». В древнетюркском «кара» многозначно — это и «черный», и «грозный, сильный», и «главный, великий». Имя Гали (Али) — один из эпитетов Аллаха, означающий «возвышенный, могучий, превосходящий всех». Таким образом, имя Каргали могло нести пожелание силы и величия. От этого имени через форму Каргал и возникла фамилия. Эта версия объясняет восточный колорит фамилии, который чувствуется на слух.

Вторая версия — топонимическая. Каргала — это название района у города Алма-Ата в Казахстане. В таком случае прозвище Каргал давали выходцу оттуда или человеку, который по внешним чертам или образу жизни напоминал жителей тех мест. Обе версии не противоречат друг другу: имя и место могли существовать параллельно, и в разных родах фамилия закрепилась по разным причинам.

Точное время и место появления фамилии Каргаловы установить сложно. Фамилии такого типа активно формировались в XVI–XVII веках, когда русское население осваивало южные и восточные территории, вступая в тесный контакт с тюркскими народами. Поэтому неудивительно, что в основе фамилии оказалось слово восточного происхождения. Без серьезных генеалогических изысканий нельзя сказать, какой из предков — обладатель мусульманского имени или переселенец из-под Алма-Аты — стал родоначальником конкретной ветви Каргаловых.