Фамилия Гармонщиков — редкий случай, когда профессиональное прозвище сохранило почти неизменным исходное слово и вдобавок обросло двойным суффиксом. В основе лежит «гармонщик» — мастер, который настраивал, чинил или делал гармони. В XIX веке гармонщиками называли не только музыкантов-гармонистов, а именно ремесленников: гармонное производство в России было кустарным, особенно в Тульской, Вятской и Новгородской губерниях, где работали целые династии таких мастеров. Фамилия образована по стандартной модели: к основе «гармонщик» прибавили патронимический суффикс -ов, который в русских фамилиях отвечал на вопрос «чей?» — то есть «сын гармонщика». Интересно, что в этом слове два суффикса подряд: сначала -щик (указывает на профессию), потом -ов (принадлежность). Такая конструкция встречается реже, чем простые фамилии вроде Кузнецов или Плотников, и говорит о том, что прозвище закрепилось за конкретным человеком уже в готовом виде — не «Гармонь», не «Гармонист», а именно «Гармонщик».

Географически фамилия тяготеет к регионам, где было развито гармонное дело. По данным современных телефонных справочников и баз ЗАГС, Гармонщиковы чаще встречаются в Нижегородской области, Удмуртии и на Урале — местах, где в XIX — начале XX века работали известные гармонные фабрики (например, в Вятке и Саратове). В центральных губерниях фамилия редка, что косвенно подтверждает её ремесленное, а не музыкально-исполнительское происхождение: гармонисты-игрецы чаще получали прозвища по игре, а не по ремонту инструмента.

В словаре русских фамилий Б. О. Унбегауна эта фамилия не упоминается — видимо, из-за малочисленности. Однако модель образования типична для так называемых «профессиональных фамилий»: Гончарщиков, Печников, Скорняжников. Разница в том, что «гармонщик» — слово более позднее и узкое, оно вошло в язык только с распространением гармони в 1830–1840-х годах. Значит, фамилия не могла возникнуть раньше середины XIX века, а скорее всего оформилась уже после отмены крепостного права, когда бывшие крепостные, уходившие в отхожие промыслы, получали фамилии по ремеслу.

Есть и альтернативная версия, но слабая: связь с диалектным «гармонь» в значении «гармония, лад» или с личным именем Гармон (от греческого «гармония»). Но против неё говорит то, что в русской антропонимии почти нет фамилий, образованных от абстрактных понятий через суффикс -щик. Гармонщиков — это не про гармонию в душе, а про конкретную работу руками: разобрать меха, подогнать клапаны, заменить голосовые планки. Предок носителя этой фамилии, скорее всего, не играл на гармони на ярмарке, а сидел в мастерской с напильником и кожей.