Фамилия Гвехидзе — грузинская, и её разбор стоит начать с суффикса, который всё и решает. Окончание -дзе в грузинской ономастике — один из самых распространённых патронимических формантов, означающий «сын» или «потомок». По происхождению он восходит к древнегрузинскому «дзе» (дитя, сын). Так что любой носитель фамилии на -дзе — это в буквальном смысле «чей-то сын». В отличие от русских фамилий на -ов/-ев, которые часто застывали в форме прилагательного, грузинские фамилии на -дзе сохранили прозрачную конструкцию: основа плюс указание на родство.

Основа «Гвех-» (гвехи) — более сложная часть. Самое правдоподобное объяснение ведёт к грузинскому слову «гвехва» (гвеха) — «заступ», «лопата» или нечто похожее на орудие труда. В таком случае Гвехидзе — потомок человека, которого прозвали по профессии или характерному занятию: землекопа, строителя, возможно, даже кузнеца, ковавшего лопаты. Есть и другая версия, менее очевидная: «гвехи» могло быть вариантом имени или прозвища, связанного с диалектным словом «гвех» — «бок», «склон» (холма). Тогда прозвище давали человеку, жившему на косогоре или у подножия горы.

Географически фамилия Гвехидзе чаще всего встречается в западной Грузии — в регионах Гурия и Имеретия. Для гурийских фамилий характерен как раз суффикс -дзе (на востоке Грузии чаще -швили или -ури). Это дополнительный штрих: предки носителя фамилии, скорее всего, были крестьянами или ремесленниками из предгорий, а не княжеского рода (для знати типичны были фамилии на -дзе, но с основами от личных имён или титулов).

В русском языке фамилия не склоняется, если принадлежит мужчине (Иван Гвехидзе, с Иваном Гвехидзе), но женский вариант тоже остаётся неизменным (Мария Гвехидзе). Ударение, как правило, падает на последний слог: Гвехидзе́, хотя в самой Грузии возможны местные колебания. Никакой связи с русскими корнями или тюркскими заимствованиями здесь нет — это чисто грузинская модель, и попытки вывести её из других языков выглядят натянутыми.