Фамилия Шершавов — один из тех случаев, когда прозвище предка почти без искажений перешло в фамилию. Основа здесь прозрачна: прилагательное «шершавый», то есть шероховатый, неровный на ощупь. В русских говорах у этого слова был и переносный смысл — так могли сказать о человеке грубоватом, неуживчивом, с «колючим» характером. Суффикс -ов указывает на стандартную русскую патронимическую модель: Шершавов — сын Шершавого.

Интересно, что фамилия образована не от имени или профессии, а от внешней или поведенческой черты. В ономастике такие фамилии называют «прозвищными» — они прямо описывали человека, и часто закреплялись за одной семьёй, если прозвище было точным. В словаре русских фамилий Б. Унбегауна подобные примеры разбираются как типичные для крестьянской среды: прозвище давалось в быту и потом оформлялось официально.

В географическом плане Шершавовы встречаются в основном в центральных и южных регионах России, но ни одна область не выделяется как бесспорная «родина» фамилии. Это говорит о том, что прозвище было распространённым, а не привязанным к одному селу. В дореволюционных переписях и ревизских сказках фамилия встречается редко, что тоже характерно для прозвищ, которые не всегда фиксировались в документах сразу.

С точки зрения словообразования, фамилия Шершавов стоит в одном ряду с такими, как Косматов, Горбатов, Лохматов: все они образованы от прилагательных с суффиксом -ат-, который указывал на обладание признаком. Но в отличие от них, Шершавов сохранил полную основу без усечения, что делает её более архаичной по звучанию. Это редкий случай, когда фамилия звучит почти как прозвище, и её значение легко читается без словаря.