Фамилия Ярмохина — женская форма, а мужская, Ярмохин, происходит от прозвища или нецерковного имени Ярмоха. В основе лежит слово «ярмо» — деревянный хомут для упряжки волов или рабочего скота. Однако напрямую прозвище, скорее всего, дали не крестьянину, работающему с ярмом, а человеку с тяжелой ношей или зависимому, «ходящему под ярмом» — в переносном смысле, как о том, кто терпит гнет или выполняет непосильную работу. В русских говорах «ярмо» означало и «бремя», и «заботу», так что прозвище могло отражать либо характер, либо социальное положение.

Суффикс -ох- в основе Ярмоха — редкий для русских фамилий, но не уникальный. Он характерен для северо-западных и центральных говоров, где так образовывали уменьшительные или пренебрежительные формы от имен и нарицательных слов (сравните: Пантелеха от Пантелей, или Григоха от Григорий). Фамилия Ярмохин могла возникнуть и от канонического имени Ермолай — через его народную форму Ермоха, где начальное «е» под влиянием аканья перешло в «я». Такая замена гласного встречается в южнорусских и украинских диалектах, поэтому географически фамилия тяготеет к югу России и востоку Украины.

В словарях фамилия не зафиксирована как широко распространенная, что указывает на ее локальный характер. В XIX веке Ярмохины встречались в основном в крестьянской среде Воронежской и Курской губерний. Интересно, что однокоренная фамилия Ярмоленко (с украинским суффиксом -енко) встречается гораздо чаще, а Ярмохин остался в тени — возможно, из-за того, что прозвище звучало грубовато или имело неодобрительный оттенок.

Сегодня носительницы фамилии Ярмохина могут проследить связь с двумя разными линиями: либо их предок носил прозвище Ярмоха от «ярма» (тяжелой работы или зависимости), либо фамилия восходит к имени Ермолай через диалектное переоформление. Ударение в фамилии, как правило, падает на второй слог: Ярмо́хина.