Фамилия Шкарупилая — редкий случай, когда написание почти полностью совпадает с произношением, но при этом ставит в тупик любого, кто пытается понять её значение «на глаз». Главная трудность в том, что слово «шкар(у)пил(а)» не встречается ни в словарях литературного русского языка, ни в диалектных сводках в качестве самостоятельного существительного. Однако фамилия явно образована от прозвища, и ключ к разгадке — в украинском и южнорусском диалектном слове «шкарупа» (вариант — «шкарупка»). Так на юге России, в Белгородской, Воронежской областях и на Украине называют засохшую корку, струп, шелуху или жёсткую, грубую кожу. Прозвище Шкарупа (или Шкарупалый) могли дать человеку с огрубевшей, потрескавшейся от работы кожей рук или с какой-то заметной кожной особенностью.

Фамилия стоит в форме прилагательного женского рода с окончанием -ая, что указывает на её происхождение в южных и западных регионах, где была распространена модель превращения прозвища в фамилию без добавления типичных русских суффиксов -ов/-ев. Мужской вариант звучал бы как Шкарупилый. Такая «голая» форма, без суффикса принадлежности, — яркий признак украинского или белорусского влияния, либо прямого заимствования из этих языков. В русском языке фамилии на -ий/-ый (типа Толстой, Блаженный) встречаются, но Шкарупилая — явно более поздняя, «прозвищная» фиксация, не прошедшая стандартную обработку фамильным суффиксом.

Версия о связи с глаголом «шкрябать» (царапать, скрести) менее вероятна, хотя фонетически близка. Дело в том, что «шкрябать» дало бы основу «шкряб-» (ср. фамилию Шкрябин), а не «шкар-». Переход «ря» в «а» (аканье) возможен, но тогда мы бы ожидали форму «Шкрапилая» или «Шкраблая». Поэтому «шкарупа» как исходное слово — самая надёжная точка отсчёта. Суффикс -ил- в основе указывает на признак, приобретённый в результате длительного действия: «шкар(у)пилый» — буквально «покрытый коркой, заскорузлый».

Социально предки носителя фамилии, скорее всего, относились к крестьянскому или ремесленному сословию южнорусских или украинских земель. Прозвище не несёт негативного оттенка в быту — оно было описательным, как «Кривой», «Хромой» или «Рыжий», и фиксировало внешнюю черту, заметную окружающим. Встречаемость фамилии крайне низкая, она не входит в списки распространённых русских фамилий и, вероятно, сосредоточена в Краснодарском крае, Ростовской области или на востоке Украины, куда переселялись крестьяне в XVIII–XIX веках.