Фамилия Ермилин образована от канонического мужского имени Ермил. В переводе с греческого оно означает «из гермесова леса» — намек на связь с богом Гермесом, покровителем путников и торговцев. Менее вероятно, хотя и возможно, происхождение от имени Ермолай («вестник народа»): при таком варианте фамилия должна была звучать как Ермолаев, а суффикс -ин указывает на принадлежность к основе, оканчивающейся на согласный или -а/-я. Ермил как раз подходит под эту модель.

Суффикс -ин в русских фамилиях традиционно обозначал «чей?» — то есть «сын Ермила» или «человек из семьи Ермила». Такая модель была особенно распространена в северных и центральных регионах России, где притяжательные фамилии на -ин встречались чаще, чем на -ов/-ев. В южных и восточных областях, под влиянием украинского и тюркского соседства, форма могла бы закрепиться как Ермиленко или Ермилов.

Само имя Ермил (церковная форма — Ермий) в святцах встречается редко, что делает фамилию относительно малораспространенной. Носители Ермилина — это потомки либо крестьян, получивших фамилию по имени отца при переписях XVIII–XIX веков, либо духовенства: имя Ермил иногда давали в семинарской среде в честь священномученика Ермила Сингидонского. В дворянских родословных фамилия не фиксируется — это однозначно указывает на её простонародное происхождение.

В ономастических справочниках (например, у Б. Унбегауна) фамилии на -ин от полных форм имени, а не от уменьшительных, считаются более архаичными. Ермилин — как раз такой случай: в основе лежит полное имя, а не прозвище Ермилка или Ермошка. Это говорит о том, что фамилия закрепилась раньше, чем в обиход вошли массовые уменьшительные формы.