Фамилия Гвай — редкий пример восточной фамилии, которая, скорее всего, имеет грузинские корни. Её основа восходит к грузинскому глаголу gva — «мести, выметать». Отсюда и главная версия: прозвище Гвай могли дать человеку по его ремеслу — например, тому, кто работал метельщиком, убирал двор или храм. Такие профессиональные прозвища в Грузии часто переходили в фамилии без дополнительных суффиксов, что и объясняет лаконичную форму «Гвай».

Менее правдоподобна версия, связывающая фамилию с еврейским словом «Гавайе» — непроизносимым именем Всевышнего, означающим «был, есть и будет одновременно», то есть находящийся вне времени и пространства. Эта гипотеза слабая: в еврейской ономастике фамилии, напрямую образованные от сакрального имени, крайне редки и обычно имеют другие словообразовательные модели. Кроме того, написание «Гвай» не совпадает с транслитерацией «Гавайе».

Словообразовательно фамилия стоит особняком: в ней нет типичных для русских фамилий суффиксов (-ов, -ин, -ский) или грузинских окончаний (-швили, -дзе, -ия). Это указывает на то, что фамилия могла закрепиться в среде, где прозвище не адаптировали под местные грамматические нормы, а переняли целиком. Встречается она в основном среди народов Северного Кавказа и Закавказья, что косвенно подтверждает грузинскую версию.

Если сравнивать с однокоренными фамилиями, то в грузинском языке есть и другие профессиональные прозвища от того же корня, например, Гватуа (с суффиксом -уа, указывающим на действие). Но Гвай — самая краткая форма, что может говорить о её древности или о том, что прозвище закрепилось в иноязычной среде, где его не стали наращивать.