Фамилия Шкарупилов — редкий случай, когда прозвище, лёгшее в основу, почти наверняка связано не с характером или внешностью, а с конкретным предметом быта. Корень здесь — «шкаруп», искать который стоит в южнорусских и украинских говорах. Слово «шкарупка» (или «шкарупа») означает твёрдую корку, заскорузлую кожуру, а также — что важнее — черепок, осколок глиняной посуды. В переносном смысле «шкарупой» могли назвать сухого, жёсткого человека, но более вероятно, что прозвище Шкарупила получил гончар или торговец керамикой — человек, постоянно имевший дело с битой посудой, черепками.

Модель образования типична для восточнославянских фамилий: основа «Шкаруп(а/о)» плюс суффикс принадлежности -илов. Суффикс -илов (-илов) встречается реже, чем -ов или -ин, и обычно указывает на прозвище, оканчивающееся на -ила (Шкарупила → сын Шкарупилы → Шкарупилов). Это так называемые «посессивные» фамилии, отвечавшие на вопрос «чей?». Если бы прозвище звучало как Шкаруп, фамилия была бы Шкарупов.

Географически фамилия привязана к зоне распространения украинизмов и южновеликорусских говоров — это Курская, Белгородская, Воронежская области, а также Слобожанщина. В документах XVII–XVIII веков встречаются прозвища Шкарупа, Шкаруб, но форма «Шкарупила» фиксируется реже, что делает фамилию Шкарупилов довольно редкой. В словаре Б. Унбегауна «Русские фамилии» аналогичная модель разбирается на примере фамилий от прозвищ на -ила (Губилов, Косил ов), что подтверждает словообразовательную логику.

Есть соблазн связать «шкаруп» с тюркским корнем, означающим «царапать» или «скрести», но это менее убедительно: фонетика и семантика бытового украинского слова «шкарупа» покрывает значение без натяжек. Таким образом, предок носителя фамилии Шкарупилов с высокой вероятностью был гончаром, либо человеком, чьё прозвище закрепилось за необычной чертой — например, за привычкой ходить в заскорузлой, грубой одежде.