Фамилия Харкавая — яркий пример того, как географический диалект может сохраниться в родовом имени. Её основа — не литературное, а местное, южнорусское или украинское слово «харкавый», то есть человек, который харкает, говорит с хрипотцой, картавит или гнусавит. В центральных и северных говорах такое качество чаще называли «картавый» или «гнусавый», но на юге — именно «харкавый». Фамилия закрепилась в женской форме, что указывает на её происхождение от прозвища матери или жены, которая была известна такой особенностью речи. В русской традиции фамилии на -ая/-яя нередко давали вдовам или дочерям в крестьянской среде, особенно на территориях современной Украины, Белгородской, Воронежской и Ростовской областей.

Словообразовательная модель здесь нестандартна: суффикс -ав- (как в «кривой» — «кривлявый») образует прилагательное со значением склонности к действию или состоянию. Получается, что «харкавый» — это не просто тот, кто харкает время от времени, а человек, для которого это постоянная черта. Фамилия Харкавая — адъективная, то есть полностью совпадает с прилагательным женского рода, что встречается реже, чем привычные патронимические фамилии на -ов или -ин.

Среди однокоренных фамилий — Харкавый, Харкавцев, Харкавченко. Последние два, с суффиксами -ев и -енко, уже указывают на сына «харкавого», тогда как Харкавая — прямое прозвище, перешедшее в фамилию без изменений. В словаре украинских фамилий Ю. К. Редько такая форма отмечена как типичная для Правобережной Украины.

В дореволюционных метрических книгах фамилия встречается в основном среди казачьего и крестьянского населения. Дворянских родов с такой фамилией не зафиксировано — слишком прозрачная и бытовая основа, чтобы стать гербовой. Носительницы фамилии Харкавая, скорее всего, происходят из семей, где прозвище закрепилось за женщиной, возможно, за вдовой, которая одна воспитывала детей, и её речевая особенность стала родовым знаком.