Фамилия Шмаргилов — один из тех случаев, когда основа прозвища не лежит на поверхности, но при ближайшем рассмотрении оказывается вполне конкретной. Самая вероятная версия связывает её с диалектным глаголом «шмаргать». В южнорусских и украинских говорах это слово означало «тереть», «чесать», а в переносном смысле — «быстро идти», «шлёпать». Человек, получивший прозвище Шмарга или Шмаргило, мог быть либо непоседой, который вечно куда-то бежал, либо тем, кто занимался какой-то работой, связанной с трением, например, терщиком на крупорушке.

Суффикс -ил- в основе (Шмаргил-) типичен для прозвищ, характеризующих человека по действию: сопил, вертил, грубил. Формант -ов превратил это прозвище в фамилию, отвечая на вопрос «чей?» — сын Шмаргила. Интересно, что в некоторых говорах «шмаргать» имело и значение «бить», «хлестать», так что прозвище могло закрепиться за драчуном или строгим человеком.

Менее распространённая, но имеющая право на существование версия — связь с диалектным словом «шмарга» в значении «сопля» или «мокрота». В этом случае фамилия могла быть дана в насмешку неряшливому или вечно простуженному человеку. Однако подобные «физиологические» прозвища в русской традиции встречаются реже, чем прозвища по действию, поэтому версия с глаголом выглядит убедительнее.

Географически фамилия тяготеет к югу России и востоку Украины. Она встречается в Курской, Белгородской, Воронежской областях — именно там, где глагол «шмаргать» был в ходу. Судя по модели образования (основа на согласный + -ов), фамилия сформировалась в среде крестьян и посадских людей, а не в дворянской среде, где чаще использовались фамилии на -ский.

Если сравнивать Шмаргилова с однокоренными фамилиями, то Шмаргин и Шмаргалов встречаются реже, а Шмаргунов — почти не встречается, что делает Шмаргилова довольно редким вариантом, сохранившим именно суффикс деятеля.