Фамилия Гармановы — одна из тех, что напрямую ведут к занятию предка. В её основе лежит прозвище Гарман, которое на юге России имело вполне конкретное хозяйственное значение. Так называли молотьбу волами, когда животных запрягали в каменные катки или телеги, гружёные камнями, а заодно и сам ток для молотьбы лошадьми. Человек, получивший это прозвище, скорее всего, был занят обмолотом зерна — тяжёлой и ключевой работой в крестьянском хозяйстве.

Словообразовательная модель проста и типична для русских фамилий: к основе Гарман добавили патронимический суффикс -ов, означающий «сын Гармана» или «потомок Гармана». Фамилия закрепилась в письменных источниках довольно рано. В трудах историка С. Б. Веселовского встречаются документальные свидетельства: крестьянин Гарман упоминается в 1545 году в Новгороде, а Иван Гарманов фигурирует как душеприказчик Марьи Мирославич в 1535 году в Медыни. Особенно интересно, что уже в 1568 году в Ярославле записаны сразу несколько Гармановых-помещиков. Это говорит о том, что фамилия к тому времени не просто бытовала, но и успела закрепиться в разных социальных слоях — от крестьян до землевладельцев.

У фамилии есть и другие возможные корни, хотя версия с прозвищем по роду занятий выглядит наиболее убедительной. В некоторых говорах «гарман» могло быть диалектным вариантом слова «гармонь» или даже личным именем тюркского происхождения, но эти версии менее подтверждены документально. География ранних упоминаний — Новгород, Медынь, Ярославль — показывает, что фамилия не была привязана к одному региону, а встречалась на разных территориях центральной и северо-западной Руси. Точное время и место возникновения фамилии Гармановы установить сложно, так как фамилии формировались постепенно, но ясно одно: она возникла не позднее первой половины XVI века и сохранила память о труде своих первых носителей.