Фамилия Гаджа — редкий пример фамилии, которую проще всего объяснить через географию и язык, а не через привычную русскую модель с суффиксами. В русском языке нет суффикса -а, образующего фамилии от основ на -дж, поэтому сразу понятно: корни фамилии лежат за пределами великорусской ономастики.

Самая вероятная версия — тюркское происхождение. В тюркских языках слово «гаджа» или «хаджа» восходит к арабскому «хаджи» — почётный титул мусульманина, совершившего паломничество в Мекку (хадж). У многих тюркских народов (азербайджанцев, турок, крымских татар) это слово стало личным именем или прозвищем, а затем и фамилией. В таком случае фамилия Гаджа означает «потомок того, кто был хаджи», или просто «паломник». Форма без обычного для русского языка окончания -ев или -ов указывает, что носители фамилии, скорее всего, сохранили её в исходном, нетрансформированном виде — такое часто встречается у народов Кавказа и Закавказья.

Вторая версия, менее вероятная, но возможная — связь с украинским или польским словом «гаджа» (диалектное «гадюка», «змея»). Однако в славянской ономастике прозвища от названий змей обычно давали не в такой форме (скорее «Гадюка» или «Гадюкин»), к тому же суффикс -а в фамилиях восточных славян обычно указывает на женский род или на прозвище, которое так и осталось без изменений. Массового бытования фамилии Гаджа в славянских регионах не зафиксировано.

Географически фамилия встречается прежде всего в Азербайджане, Грузии, Турции, а также среди народов Северного Кавказа. В России она редка и, как правило, привязана к диаспорам из Закавказья. Таким образом, если ваши предки носили фамилию Гаджа, они, скорее всего, происходят из среды, где исламские титулы переходили в родовые имена — из среды тюркских или кавказских народов, где уважаемого человека называли по его паломничеству.