Фамилия Шмаргилова — женская форма, а её мужской вариант — Шмаргилов. В основе, скорее всего, лежит прозвище или мирское имя Шмаргила. Слово «шмарга» в русских говорах имеет нелестное значение: так называли неопрятного, неряшливого человека, а иногда — плаксу или капризного ребёнка. В некоторых диалектах «шмаргать» означало «шмыгать носом» или «тереть», что тоже отсылает к прозвищу по поведению. Таким образом, предок носителя фамилии мог получить такое прозвище за внешний вид или манеру себя вести.

Суффикс -ил- в основе — не редкость для русских прозвищ, он придаёт слову оттенок деятеля или носителя признака (сравните: «копыла» — тот, кто копытит, «мурлыка»). Модель образования фамилии простая: к основе на -а добавился патронимический суффикс -ов, что типично для северных и центральных областей России. Фамилия недворянская, скорее крестьянская или мещанская, так как образована от бытового, а не церковного имени.

Интересно, что в некоторых областях (например, в тверских и псковских говорах) слово «шмарга» могло означать и «хитрец» или «пройдоха». Если принять эту версию, то прозвище могло быть не столько обидным, сколько характеризовать сметливого человека. Однако более вероятно первое значение, так как в ономастике фамилии от отрицательных качеств встречаются повсеместно — они не несли оскорбления, а просто фиксировали внешнюю примету.

Встречается фамилия Шмаргилов/Шмаргилова преимущественно в Поволжье и на Урале, что указывает на возможное переселение носителей из центральных губерний в ходе колонизации этих земель в XVII–XIX веках. Сравните с однокоренными фамилиями Шмаргунов, Шмарков — они образованы от той же основы, но с другими суффиксами, что говорит о разных вариантах одного прозвища в разных семьях.