Фамилия Шмаргалов — яркий пример того, как одно редкое слово может породить целое гнездо родственных фамилий. В её основе лежит прозвище Шмаргал, а оно, в свою очередь, восходит к диалектному глаголу «шмаргать». В южнорусских и украинских говорах это слово означало «шлёпать», «хлестать», «стегать» или «тереть», «драть». Прозвище могли дать человеку с резкими, размашистыми движениями, тому, кто часто и громко хлестал кнутом (например, пастуху или вознице), либо, в переносном смысле, неутомимому труженику, который «трёт» и «дерёт» лыко или мочало. Вторая версия, менее вероятная, но возможная, связывает прозвище с «шмаргой» — так в некоторых областях называли плеть или кнут.

Суффикс -ов указывает на типичную русскую модель образования фамилий от прозвищ, оканчивающихся на твёрдый согласный. Шмаргалов буквально означает «сын Шмаргала» или «принадлежащий Шмаргалу». Поскольку слово «шмаргать» имеет яркую экспрессивную окраску, прозвище вряд ли принадлежало человеку из высших слоёв общества. Скорее всего, предок носителя фамилии был крестьянином или ремесленником, и прозвище закрепилось за ним из-за какой-то заметной черты характера или манеры работы.

Интересно, что фамилия Шмаргалов имеет несколько однокоренных «родственников»: Шмаргунов, Шмарганов, Шмаргин. Все они образованы от того же корня, но с разными суффиксами. Это говорит о том, что прозвище было не единичным, а бытовало в разных регионах, порождая самостоятельные фамильные линии. Встретить Шмаргаловых можно преимущественно на юге России, в Ростовской области, Краснодарском крае, а также в некоторых областях Украины — именно там диалект «шмаргать» был в ходу.

В отличие от многих фамилий, образованных от церковных или календарных имён, Шмаргалова — «чисто» прозвищная, бытовая. Её не встретишь в старинных боярских списках, зато она надёжно сохранила в себе живое народное слово, которое сегодня почти вышло из употребления.