Возможно, оно восходит к украинскому слову «гармаш» - «пушкарь». Возможно, что основатель рода Гармай был мастером, который изготовлял и обслуживал пушки, или артиллеристом. Согласно другой версии, прозвище Гармай восходит к рязанскому диалектному глаголу «гармить», то есть «болтать без умолку». В этом случае прозвище Гармай получил несдержанный в речах человек или балагур.