Фамилия Ярмин ведет свое начало от прозвища Ярма, которое восходит к аналогичному нарицательному. Во владимирских говорах Ярмой называли рослую, бойкую и смелую женщину. Следует отметить, что фамилии, образованные от женского прозвища, немногочисленны, поскольку традиционно за основу бралось имя отца как родоначальника и главы семейства. Согласно другой гипотезе, в основе прозвища Ярма лежит существительное «ярмо» - «деревянный хомут для рабочего рогатого скота». Соответственно, так могли прозвать человека, занимавшегося изготовлением упряжи или же того, кто особенно много работал, будучи выносливым. Так и прозвище Ярма закрепилось за человеком в качестве наиболее употребительного именования, а со временем легло в основу фамилии Ярмин. Таким образом, потомок человека, обладающего прозвищем Ярма, со временем получил фамилию Ярмин.