Фамилия Кармалинина — редкий случай, когда в основе лежит не славянское прозвище, а тюркское составное имя. Скорее всего, её образовали от личного имени Карамоллин, которое соединяет два корня: «кара» (в тюркских языках — «земля», «чёрный») и «моллин» — «принадлежащий мулле», то есть духовному наставнику или учителю. Вместе имя могло означать «земля муллы» — вероятно, так называли человека, владевшего наделом, принадлежавшим религиозной общине, или жившего на такой земле.

Суффикс -ин указывает на типичную русскую модель образования: «чей?» — Кармалинин, то есть сын или потомок Кармаллы (Карамоллы). Со временем имя сократилось до более удобного для произношения варианта — Кармала или Кармалин, от которого и пошла фамилия.

Процесс формирования фамилий у разных сословий шёл неравномерно. У крестьян и мещан фамилии закреплялись вплоть до конца XIX века, поэтому точное место и время возникновения рода Кармалининых можно установить только через генеалогические изыскания. Однако уже сейчас ясно: фамилия хранит память о тюркском влиянии и связи с духовным сословием, что выделяет её среди более привычных «профессиональных» или «географических» русских фамилий.