Фамилия Шмаргалова образована от прозвища или мирского имени Шмаргал. Основа «шмарг» в русских говорах многозначна, и разбор фамилии упирается в то, с каким именно значением мы имеем дело. Самая вероятная версия — диалектное слово «шмаргать», которое в ряде областей (особенно южнорусских и украинских) означало «тереть», «чесать», «драть», а также «бить», «хлестать». Соответственно, Шмаргалом могли прозвать либо человека, занимавшегося каким-то монотонным трудом, связанным с трением или очисткой (например, конопатчика или кожевника), либо того, кто часто дрался или имел резкий, «хлёсткий» характер.

Суффикс -ов- в фамилии указывает на стандартную русскую патронимическую модель: Шмаргалов — сын Шмаргала. Окончание -а (Шмаргалова) — женская форма, но в быту фамилия склоняется по мужскому роду как Шмаргалов. Модель образования простая и массовая, что говорит о недворянском, скорее крестьянском или мещанском происхождении фамилии: её дали по отцовскому прозвищу в XV–XVII веках, когда шло активное закрепление фамилий за податными сословиями.

Есть и более редкая, но любопытная версия: в некоторых говорах «шмарга» — это название мелкой рыбы (вроде уклейки или пескаря). В этом случае прозвище могло закрепиться за рыбаком или за невысоким, юрким человеком. Однако основное значение «тереть, драть» встречается чаще и подкрепляется наличием однокоренных фамилий — Шмаргунов, Шмаргин, Шмарков.

Географически фамилия Шмаргалова не привязана к какому-то одному региону, но чаще встречается в центральных и южных областях России, а также в Беларуси и на Украине. Это объясняется тем, что слово «шмаргать» активно бытовало именно в западнорусских и украинских диалектах. В дореволюционных переписях носители фамилии фиксировались в основном как государственные крестьяне.

Отдельного внимания заслуживает ударение. В большинстве случаев оно падает на второй слог: Шмарга́лов. Это соответствует типичной модели для фамилий на -ов с основой на -а. Если встретится вариант Шма́ргалов, он может указывать на иное, более редкое происхождение (например, от литовского или польского корня), но для русской ономастики это нетипично.