Фамилия Шмаргунов — редкий случай, когда за основу взято не имя, не профессия и не географическое название, а звукоподражание. В её основе лежит глагол «шмаргать» или «шмаркать», который в южнорусских и украинских говорах означал «чавкать», «хлюпать носом», «издавать влажные, чавкающие звуки». Человек с таким прозвищем — Шмаргун — мог получить его за привычку шумно есть или за хронический насморк. Прозвище необидное, бытовое, из разряда тех, что давали по заметной внешней черте.

Модель образования прозрачная: суффикс -ун образует имя деятеля (ср. бегун, крикун, ворчун), а затем стандартный патронимический суффикс -ов превращает прозвище в фамилию: Шмаргун → Шмаргунов, то есть «сын Шмаргуна». Аналогичные фамилии — Чавкунов, Хлюпин, Сопляков — образованы по тому же принципу, но Шмаргунов встречается заметно реже.

В словаре Б. Унбегауна «Русские фамилии» такая модель разбирается, хотя сам корень «шмарг» нечастый. Встречается он и в украинской ономастике: фамилия Шмаргун (без суффикса -ов) распространена на западе Украины, где «шмаргати» означает «шлёпать» или «бить». Возможно, прозвище имело и второй смысл — «тот, кто шлёпает» или «неуклюжий, шаркающий человек». Обе версии не противоречат друг другу: звукоподражательная основа легко переходит в характеристику походки или действий.

Географически фамилия Шмаргунов тяготеет к югу России и Украине, но в целом редкая. В дореволюционных списках и метрических книгах она почти не попадается, что говорит о её позднем оформлении или локальном бытовании. Сословной привязки нет: такую фамилию мог получить и крестьянин, и мещанин, если прозвище закрепилось за родом. Никаких дворянских родов Шмаргуновых не зафиксировано — фамилия однозначно народная, из среды, где прозвища давали по живому наблюдению, без попытки украсить.