Фамилия Кармаков образована от прозвища Кармак. Оно, в свою очередь, вероятно, произошло от древнетюркского слова karmak, что в переводе на русский язык означает «удочка». Таким образом, можно предположить, что основатель рода получил прозвище из-за своей профессиональной деятельности. Скорее всего, он был рыбаком, или же занимался тем, что изготавливал удочки на продажу. Слово karmak было заимствовано русским язык с немного измененным значением – «черная, шашковая снасть: крючья на поводцах». С такой снастью (без наживки) ловили на красную рыбу. Таким образом, прозвище Кармак в любом случае указывает на то, что деятельность предка была связана с рыболовством. Таким образом, потомок человека, которого звали Кармак, со временем получил фамилию Кармаков.