Фамилия Шармаев образована от прозвища или имени Шармай, а в её основе лежит тюркское слово «шарма» — «шум, суета, переполох» либо «шармак» — «удар, хлопок». Соответственно, Шармаем в прошлом могли прозвать человека шумного, суетливого, либо того, кто отличался резкими, хлёсткими движениями — например, бойца или мастера рукопашной схватки. В ряде тюркских языков «шарма» имеет и значение «плеть, нагайка», что тоже могло лечь в основу прозвища, но менее вероятно: прозвища по орудию труда или оружию обычно давались не напрямую, а через действие.

Суффикс -ев указывает на русскую модель патронимии: Шармаев буквально значит «сын Шармая». Фамилия типична для регионов, где русское население долго и плотно соседствовало с тюркским, — Поволжья, Приуралья, юга Сибири. Встречается она у татар, башкир, чувашей и у русских, чьи предки восприняли тюркское прозвище и оформили его по русскому образцу.

В словаре тюркских заимствований в русских фамилиях можно найти параллели: Шарманов, Шарматов, Шармашов — все они восходят к той же или близкой основе. Но Шармаев отличается тем, что в нём закрепилась именно форма на -ай, которая в тюркских языках часто служит уменьшительно-ласкательным или именным показателем. То есть Шармай — это не столько прямое прозвище по качеству, сколько личное имя, производное от корня «шарма». В этом смысле фамилия Шармаев стоит ближе к антропонимическому гнезду, чем к чисто прозвищному.

Сословно фамилия не закреплена: Шармаевы могли быть и крестьянами, и служилыми людьми (например, казаками или толмачами), и купцами. В документах XVII–XVIII веков фамилия фиксируется в Казанском и Уфимском уездах, что подтверждает её волго-уральское происхождение. Сегодня носители фамилии живут по всей России, но заметная концентрация сохраняется в Татарстане, Башкортостане и Оренбургской области.