Фамилия Гаркавый — прозрачный случай, когда прозвище «говорит само за себя». В её основе лежит украинское прилагательное «гаркавий», то есть «картавый». Человек, который не выговаривал некоторые звуки, шепелявил или картавил, получал такую характеристику, и она закреплялась за ним как уличное прозвище. Это самая прямая и правдоподобная версия.

Есть и другая, менее вероятная гипотеза: связь с глаголом «гаркать». В украинских и южнорусских говорах это слово означало «резко кричать, прикрикивать, угрожать окриком». Если принять эту версию, то Гаркавым могли прозвать человека с громким, отрывистым голосом, который часто покрикивал на окружающих. Однако первое объяснение — через дефект речи — встречается в ономастике чаще; прозвища по физическим особенностям вообще более устойчивы и распространены, чем прозвища по манере поведения.

С точки зрения словообразования фамилия выглядит как застывшее прилагательное без типичного русского суффикса -ов или -ин. Это указывает на украинское происхождение: в Украине фамилии в форме чистого прилагательного (Гаркавий, Білий, Рябий) — обычное дело. При переходе в русскую среду окончание могло меняться на -ый, но смысл оставался тем же. Встречаются также варианты написания с одной «а» — Гаркавый, и с ударением на втором слоге.

Фамилия довольно редкая. Встречается преимущественно на юге России и в восточных областях Украины, что подтверждает её региональную привязку. Среди носителей нет громких исторических фигур, известных широкой публике, — это скорее фамилия крестьянского и казачьего сословия, где прозвища давали метко и без затей.