Фамилия Шкарой — редкий пример, где окончание сразу выдаёт географию и происхождение. Форма на -ой (а не на -ов или -ин) — это типичная украинская или южнорусская модель: Шкарой, Шевченко, Полевой. В русском языке такие фамилии чаще всего закрепляли прозвища или прилагательные, которые отвечали на вопрос «какой?». Шкарой — значит «шкарный», то есть имеющий отношение к слову «шкар».

Основа фамилии — шкар. В южных и западных говорах русского языка, а также в украинском, «шкар» или «шкара» — это щепка, осколок, заноза. Отсюда и прозвище Шкарой могли дать человеку худому, щуплому, «как щепка», либо тому, кто занимался колкой дров, плотничал или работал с деревом. В некоторых диалектах «шкарой» называли и бранчливого, «колючего» человека — по ассоциации с занозой, от которой трудно избавиться.

Менее вероятная, но возможная версия связывает фамилию с тюркскими корнями. В ряде тюркских языков «шкар» или «ишкар» означает «помощник», «слуга». Однако украинская модель образования (суффикс -ой) и диалектная распространённость слова «шкар» в славянской среде делают версию с «щепкой» более правдоподобной.

Фамилия Шкарой почти не встречается за пределами Украины и приграничных областей России. Основной ареал — Полтавская, Черкасская, Харьковская области, реже — Белгородская и Воронежская. Это говорит о том, что предки носителей фамилии были, скорее всего, крестьянами или ремесленниками, жившими в этих землях, а прозвище закрепилось за ними в XVI–XVII веках.

Сравните с однокоренными фамилиями: Шкарин (от той же основы, но с русским суффиксом -ин), Шкарев, Шкарюк. Шкарой стоит особняком благодаря своему окончанию — оно не склоняется по падежам как обычное прилагательное, а остаётся неизменным: Иван Шкарой, к Ивану Шкарой. Эта черта нередко сбивает с толку при заполнении документов, но именно она и делает фамилию узнаваемой.