Мужское крестильное имя Ермолай в переводе с греческого означает «вестник народа». В основу фамилии легла производная форма этого имени — Ярмоль. Скорее всего, основатель рода Ярмольских был выходцем из рабочей или крестьянской среды. Таким образом, потомок человека, обладающего именем Ярмоль, со временем получил фамилию Ярмольский.