Фамилия Шершавец — редкий пример, когда прозвище, лёгшее в основу, практически не изменилось за века. Её не переделывали под стандартные суффиксы -ов или -ин, а закрепили в исходной форме, что сразу указывает на украинское или белорусское происхождение. В этих землях «отчества» нередко оформлялись суффиксом -ец, означающим принадлежность или характерный признак: кто-то Шершавый, сын Шершавого — Шершавец.

Корень «шершав-» прозрачен. В русских говорах «шершавый» — шероховатый, негладкий, часто с оттенком грубости или неухоженности. Прозвище могли дать человеку с огрубевшей кожей, с жёсткими волосами или просто неуживчивому, резкому в общении. Встречается и диалектное «шершаветь» — покрываться коркой, становиться жёстким, что могло относиться к ремеслу: например, к дубильщику кож или столяру, работавшему с необструганным деревом.

В отличие от фамилий Шершаков или Шершавин, где суффикс -ов/-ин закрепил за родом землю или службу, Шершавец остался «личным» прозвищем. В реестрах запорожских казаков и переписях Гетманщины XVII–XVIII веков такие «именные» фамилии без патронимического суффикса часто встречались у черниговских и полтавских крестьян. Сейчас фамилия крайне редка, её очаги — западные области Украины и юг Беларуси.

География подсказывает ещё один нюанс. В польском языке есть слово «szorstki» — шершавый, но фамилия Szorstkowiec не фиксируется. Шершавец — чисто восточнославянская модель, без польского или еврейского влияния. Никаких следов дворянского рода или массового переселения нет: это фамилия одного корня, одного прозвища, которое не размножилось в десятки вариаций. Её носитель, скорее всего, происходил из среды чернозёмных земледельцев или ремесленников, где прозвище цеплялось за внешность или характер и передавалось без изменений.