Фамилия Ярменко — характерный пример украинской модели фамилии на -енко, которая в XVII–XVIII веках была распространена в Поднепровье и на Слобожанщине. Суффикс -енко в украинской ономастике указывал на потомка или ученика: Ярменко означало «сын Ярмы» или «маленький Ярма». Такая форма образования фамилий была особенно типична для казацкой старшины, мещан и крестьян, и со временем закрепилась как наследственная.

Основа фамилии — личное имя Ярма. Это не полное каноническое имя, а народная, разговорная форма от Ермолай (греч. Hermolaos — «вестник народа») или от Ермил (греч. Hermyllos — «маленький вестник»). В украинской среде имя Ермолай часто сокращали до Ярмолай, а затем до Ярма — так же, как в русском языке от Ермолай пошли фамилии Ермаков, Ермолаев. Усечение основы с последующим добавлением -енко — обычный путь образования украинских фамилий от обиходных вариантов крестильных имён.

Встречается и другая версия: связь с диалектным украинским словом «ярма» — ярмо, часть упряжи для волов. В этом случае прозвище Ярма мог получить человек, занимавшийся изготовлением ярм или использовавший их в работе — погонщик волов, крестьянин-земледелец. Однако эта версия менее вероятна: фамилий от названий сельскохозяйственных орудий в украинской традиции мало, а имя Ярма как производное от Ермолая фиксируется в исторических документах (например, в реестрах казаков XVII века).

Географически фамилия Ярменко тяготеет к центральным и восточным областям Украины — Полтавщине, Черкащине, Харьковщине. В России она встречается реже, чаще всего как результат переселений в XIX–XX веках. Поскольку фамилия образована от имени, а не от прозвища, её носители не принадлежали к какому-то одному сословию: Ярменками могли быть и казаки, и крестьяне, и мещане. Сравните с однокоренными: Ермаков (русская, от Ермак — уменьшительное от Ермолай), Ярмоленко (украинская, от полной формы Ярмолай), Ярмилко (от Ермил). Все они восходят к одному греческому корню, но разошлись по разным диалектным и словообразовательным моделям.