Фамилия Ермины образована по самой распространённой в русском языке модели — с помощью суффикса -ин. Этот суффикс указывал на принадлежность: «чей?» — «Ермин», то есть сын человека по имени или прозвищу Ерма, Ермо, Ермий. Основа здесь не имя Ермил или Ермолай в полной форме, а их краткий, обиходный вариант Ерма, Ермо или Ермий. Такие усечённые формы в быту почти вытеснили полные церковные имена: Ермолай превращался в Ерму, Ермил — в Ерма.

В основе фамилии лежит несколько греческих имён, которые на русской почве звучали очень похоже и дали одинаковые уменьшительные формы. Ермолай — «вестник народа», Ермил — «из Гермесова леса» (то есть посвящённый богу Гермесу), Еремей — «дающий богатство». Разобрать, от какого именно имени пошла конкретная ветвь Ерминых, сейчас почти невозможно: все они в повседневной речи слились в короткое Ерма или Ермий. Поэтому фамилия Ермин — это типичное «отчество второго порядка», которое закрепилось за потомками человека, звавшегося в домашнем кругу Ермой или Ермием.

Родственные фамилии — Ермилов и Ермилин — образованы от полной формы Ермил, а Ермолов — от Ермолай. Украинские и белорусские варианты (Ярмоленко, Ярмолюк, Ярмошевич) пошли от формы Ярмола, где начальное «я» возникло под влиянием местного произношения. Фамилия Ермины, с суффиксом -ин, характерна в первую очередь для северных и центральных областей России, где отчества на -ин традиционно преобладали над фамилиями на -ов/-ев.

Точно установить, когда и где впервые появились Ермины, сложно: имя Ермолай было широко распространено среди крестьян и духовенства, а фамилии на -ин фиксировались в переписных книгах с XVI века. Судя по модели образования, предки носителей фамилии были простыми людьми — крестьянами или посадскими, у которых отчество перешло в наследственное прозвание без изменений.