Фамилия Шаршавова — женская форма от мужской Шаршавов, и её происхождение почти наверняка связано с прозвищем, а не с крестильным именем. Основа здесь — прилагательное «шаршавый», то есть шершавый, негладкий, с неровной поверхностью. В русских говорах это слово имело и переносные значения: «грубый, неотёсанный человек» или, напротив, «придирчивый, въедливый» (от «шаршавить» — цепляться, придираться). Так могли прозвать либо человека с огрубевшей кожей, либо того, кто славился неуживчивым характером.

Суффикс -ов- указывает на классическую русскую патронимическую модель: Шаршавов буквально означал «сын Шаршавого». Фамилия образована от прозвища напрямую, минуя стадию имени, что типично для поздних (XVII–XIX века) фамилий крестьян и мещан. В отличие от фамилий на -ин, которые часто происходят от основ на -а/-я, форма на -ов здесь закономерна, так как исходное слово — прилагательное мужского рода.

Географически фамилия тяготеет к южнорусским и волжским говорам, где слово «шаршавый» было особенно употребительно. Встречается в основном в Воронежской, Саратовской, Волгоградской областях. Встречается и украинский вариант Шаршавий, от которого могла образоваться та же фамилия через русификацию окончания.

Редкость фамилии, вероятно, объясняется тем, что прозвище Шаршавый было нелестным и не всегда закреплялось в потомстве. Те, кто его носил, могли при переходе в другое сословие или при записи в ревизские сказки сменить фамилию на более благозвучную. Поэтому Шаршавовы — это потомки людей, либо не имевших возможности или желания менять прозвище, либо живших в среде, где прямота и грубость не считались пороком.