Фамилия Ермулина — это женская форма, а её мужской вариант — Ермулин. В основе фамилии лежит крестильное имя Ермолай, которое в русском просторечии часто сокращали до Ермула. Имя Ермолай греческого происхождения (от «Гермес» и «лаос» — народ) и означает «вестник народа». Суффикс -ин указывает на принадлежность: Ермулин — это буквально «сын Ермулы» или «человек из дома Ермулы».

Модель образования типична для русских фамилий: от полного или уменьшительного имени через притяжательное прилагательное. Если бы предка звали Ермолай, а в быту — Ермула, то его дети по документам записывались как Ермулины. Ударение в фамилии чаще всего падает на второй слог: Ерму́лина, хотя в некоторых говорах возможно смещение на первый.

Интересно, что имя Ермолай в народе нередко переосмысливалось: его сближали со словом «ермолка» (маленькая шапочка), хотя лингвистически это разные корни. В ономастике фамилия Ермулин относится к группе «полуимен» — когда полное каноническое имя давало прозвищную форму, которая и закреплялась в роду. По сословной принадлежности Ермулины могли быть как крестьянами, так и мещанами — фамилия не несёт дворянского суффикса -ский, но встречается в разных губерниях, особенно в центральной России и Поволжье.

Сравнение с однокоренными фамилиями — Ермолаев, Ермохин, Ермаков — показывает, что Ермулин стоит особняком: суффикс -ула встречается реже, чем -аха или -оха, что делает фамилию более редкой. В словаре Б. Унбегауна «Русские фамилии» подобные формы упоминаются как характерные для севернорусских и сибирских говоров, где любили усекать имена до коротких, звучных вариантов.