Фамилия Ярмошкин образована по стандартной для русских фамилий модели: к основе прибавляется патронимический суффикс -ин, указывающий на принадлежность («чей?» — сын Ярмошки). Это одна из самых распространённых словообразовательных схем в центральной и северной России, где суффикс -ин вытеснял южный -ов в фамилиях от имён и прозвищ на -а/-я.

Основа фамилии — имя или прозвище Ярмошка. Скорее всего, это разговорная форма крестильного имени Ермолай. В народном произношении имя Ермолай (от греческого «вестник народа») давало целое гнездо производных: Ермошка, Ермак, Ермолка. В ряде говоров начальное «Е» переходило в «Я» (явление «яканья»), что фиксировали писцы: Ярмошка вместо Ермошка. Именно такую форму и закрепила фамилия.

Менее вероятная, но возможная версия связывает Ярмошку с диалектным словом «ярмо» — деревянный хомут для волов, символ тяжёлой работы. В этом случае прозвище Ярмошка мог получить крестьянин, работающий на других, или человек сгорбленный, «ходящий под ярмом». Однако для русского быта воловье ярмо — скорее южнорусская или украинская реалия, тогда как сама фамилия Ярмошкин географически тяготеет к северо-востоку (Вятка, Пермь, Кострома), где волов не держали. Поэтому связь с именем Ермолай выглядит убедительнее.

Фамилия редкая, недворянская. Её носители — почти наверняка потомки крестьян или посадских людей. В переписных книгах XVII–XVIII веков она встречается в Вятском и Соликамском уездах. Интересно, что в тех же регионах бытуют однокоренные фамилии Ермошкин, Ермаков, Ярмошев — все они восходят к одному корню, но разошлись в написании из-за местных говоров и почерка писарей.