Фамилия Ярмыш — редкий случай, когда основа не укладывается в привычные славянские модели. В ней нет суффикса -ов, -ин или -ский, а окончание -ыш указывает на южнославянское или западноукраинское происхождение. Такие фамилии чаще всего образованы от прозвищ, причём прозвищного суффикса -ыш, который в русском языке встречается в словах вроде «глупыш» или «малыш», в фамилиях закрепился именно в польской и украинской традиции. Так что носитель фамилии Ярмыш, скорее всего, происходит с территории современной Западной Украины, Польши или Беларуси.

Основа «Ярм-» вызывает два основных толкования. Первое и самое прямое — от слова «ярмо». Прозвище Ярмо или Ярмыш могли дать человеку, который работал с упряжкой волов, был погонщиком или сам выполнял тяжёлую, подневольную работу. В переносном смысле так могли назвать человека, находящегося под чьей-то сильной властью или зависимостью. Второе, менее очевидное, но вполне возможное — от имени Ермолай через его краткую форму Ярм. В украинском языке имя Ермолай часто сокращали до Ярмолай, а от него образовывали уменьшительные формы, в том числе и Ярмыш. В этом случае фамилия перешла бы в разряд патронимических, то есть указывающих на отца по имени.

Написание фамилии через «ы» после «р» — характерная черта для украинской фонетики, где звук «ы» произносится твёрже, чем русское «и». В русском языке похожая фамилия могла бы писаться как Ярмиш, но закрепился именно украинский вариант. Это ещё один аргумент в пользу того, что фамилия сформировалась в среде, где украинский или польский язык был основным.

Сословная принадлежность предков Ярмышей, скорее всего, была крестьянской или мещанской. Фамилии с суффиксом -ыш редко встречаются у дворянства, которое обычно носило фамилии на -ский или -ов. В метрических книгах XIX века носителей фамилии Ярмыш можно встретить в Волынской, Подольской и Киевской губерниях. В некоторых случаях фамилия могла быть искусственно изменена при переписи или переходе из униатства в православие, но это уже частные истории, не поддающиеся обобщению.