Фамилия Ярмолай — редкий случай, когда в основе лежит не прозвище и не профессия, а полное каноническое имя, но в усечённой народной форме. Исходное имя — Ермолай (из греческого Ἑρμόλαος: «слуга Гермеса»). В русской традиции начальное «Е» часто переходило в «Я» (сравните: Егор — Ягор, Емельян — Ямельян), поэтому Ярмолай — это просторечный, «домашний» вариант церковного Ермолай.

Главная особенность этой фамилии — она не имеет суффикса. Перед нами так называемая «окаменевшая» форма имени, которая закрепилась в роли фамилии без добавления -ов, -ев или -ин. Такие «голые» фамилии (Ждан, Третьяк, Ярмолай) характерны для украинской и белорусской ономастики, а также для западнорусских земель, где под влиянием польского языка фамилии часто оформлялись как чистые основы. В России же потомка человека по имени Ярмолай скорее записали бы как Ярмолаев.

Таким образом, носитель фамилии Ярмолай — это прямой наследник человека, которого в быту звали не Ермолай, а именно Ярмолай. Скорее всего, предок жил на территории современной Украины или Белоруссии, где такие бессуффиксные фамилии были обычным делом. В отличие от фамилий на -ский, которые часто указывали на дворянское происхождение, Ярмолай — фамилия крестьянская или казацкая, возникшая естественным путём, без канцелярских приписок.

С точки зрения словообразования, фамилия уникальна тем, что сохранила архаичный ударный суффикс -ай (как в именах Мамай, Басурман, Костяй). В сочетании с переходом «Е» в «Я» это даёт двойную редкость: фамилия звучит как имя, но выполняет функцию родового прозвания. Встречается она преимущественно в западных областях России, в Белоруссии и на востоке Украины, но везде остаётся малочисленной — это не массовая фамилия, а локальный ономастический «окаменелость».