Фамилия Каргулов — одна из тех, где основа прячется за тюркским корнем, а суффикс выдаёт русский способ оформления. Модель образования проста: тюркское имя или прозвище Каргул (или Каргулы) плюс типичный русский патронимический суффикс -ов. Буквально: «сын Каргула». Такие фамилии массово возникали у русских служилых людей, крестьян и казаков, контактировавших с тюркскими народами, — в Поволжье, Приуралье, на юге России.

Корень, скорее всего, восходит к тюркскому «каргу» — ворона. В тюркских языках это слово могло дать прозвище человеку с чёрными волосами, смуглой кожей или просто крикливому. Вторая часть — аффикс -ул/-ул, характерный для имён в башкирском, татарском, казахском языках. Получается имя Каргул — «воронёнок» или «человек-ворона». Такие имена-прозвища были в ходу у башкир и татар, а фамилия Каргулов встречается чаще всего именно в Башкортостане и соседних областях. Встречаются и однокоренные фамилии — Каргулин, Каргалов, Каргин, но у каждой своя суффиксальная история.

Есть и другая, менее вероятная версия: от тюркского «каргы» — «проклятие», «брань». Тогда Каргул — человек, которого прозвали за сквернословие или тяжёлый характер. Но эта гипотеза слабее: имя с таким значением редко становилось личным, скорее уж прозвищем, и вряд ли закрепилось бы как фамилия в крестьянской среде.

Фамилия недворянская, нестарая — возникла не раньше XVII–XVIII века, когда у русских и крещёных тюркских народов пошла волна фамилий на -ов. Сословно предки Каргуловы — скорее всего, государственные крестьяне или казаки. В списках однодворцев и казачьих войск эта фамилия попадается, но массовой статистики по ней нет, что говорит о её относительной редкости.