Фамилия Кармаковы — один из тех родовых имен, где в основе лежит не славянское имя или прозвище, а заимствование из тюркских языков. Исходное слово — древнетюркское karmak, то есть «удочка». От него образовалось прозвище Кармак, которое дали человеку по роду занятий: либо он сам рыбачил, либо делал снасти на продажу. В русских говорах слово «кармак» закрепилось в значении «крючковая снасть без наживки, которой ловили красную рыбу», так что связь с рыболовством прямая и конкретная.

Фамилия оформлена по стандартной восточнославянской модели: основа Кармак плюс суффикс принадлежности -ов. Такая схема типична для фамилий, возникших в XV–XVII веках, когда прозвища и мирские имена активно переходили в наследственные обозначения рода. Суффикс -ов указывает на то, что предка звали Кармак, а его дети и внуки стали Кармаковыми.

Хотя корни фамилии уходят в тюркскую лексику, сама она бытовала в разных регионах, где русское население соседствовало с тюркским — в Поволжье, на Урале, в Сибири. Точную географию и время появления конкретной ветви можно установить только по архивным документам: переписным книгам, ревизским сказкам, метрикам. Но в целом фамилия Кармаковы — не частый случай, и её носители, скорее всего, происходят из семей, где рыболовство было основным или заметным промыслом.