Фамилию Шершавенко специалисты относят к украинской модели на -енко, самой распространённой на Левобережной Украине. Суффикс -енко в XVI–XVIII веках означал «сын» или «потомок», то есть исходно Шершавенко — это «сын Шершавого». В отличие от русских фамилий на -ов/-ев, которые часто закреплялись за крестьянами после отмены крепостного права, украинские фамилии на -енко сложились раньше, в среде казачества и мещанства, и передавались по наследству как родовое имя.

Основа фамилии — прозвище Шершавый. В русских и украинских говорах слово «шершавый» имело два основных значения. Первое — прямой смысл: человек с грубой, шелушащейся кожей, с огрубевшими руками, мозолями. Такое прозвище могли дать крестьянину, который много работал в поле, или ремесленнику, например кузнецу или кожевнику. Второе, переносное значение — «неприветливый», «грубый в общении», «колючий» характер. В украинских диалектах слово «шершавий» также употреблялось в значении «шероховатый», «негладкий», что могло относиться и к внешности, и к манере поведения.

Интересная особенность этой фамилии — сохранение полногласия «шере-» в основе. В украинском языке чаще встречается форма «шершавий», но в русских говорах бытовал вариант «шершавый» с тем же корнем. Фамилия Шершавенко могла возникнуть как в украинской, так и в южнорусской среде, на стыке двух языковых традиций. Встречаются и однокоренные фамилии: Шершавый, Шершавин, Шершаков — все они восходят к тому же прозвищу, но образованы по разным моделям (русской на -ов/-ин и украинской на -енко).

В документах фамилия фиксируется с XIX века, преимущественно в Полтавской, Харьковской и Черниговской губерниях. Поскольку прозвище Шершавый не было редким, носители фамилии Шершавенко не обязательно являются потомками одного человека — в разных сёлах прозвище могло возникать независимо, а фамилия закреплялась за разными родами.