Фамилия Горбажа — редкий случай, когда прозвище перешло в фамилию почти без изменений, сохранив свою исходную форму. В большинстве русских фамилий мы видим суффиксы -ов, -ин, -ский, которые превращают прозвище в притяжательное прилагательное («чей?» — Горбачёв, Горбунов). Здесь же основа Горбаж- сама стала фамилией, что характерно для украинской и белорусской традиции, а также для южнорусских говоров. Такое оформление (без патронимического суффикса) встречается реже и указывает на то, что фамилия могла закрепиться в среде казачества или мещанства, где прозвища нередко использовались как родовые имена напрямую.

Корень слова — «горб». Но если фамилии Горбачёв или Горбунов прямо говорят о физическом недостатке (горбатый человек), то Горбажа — это скорее прозвище по характеру или поведению. В диалектах «горбаж» могло означать не просто горбуна, а человека угрюмого, сварливого, «гнутого» нравом. В некоторых говорах слово «горбатый» употреблялось в переносном смысле — «непокладистый», «упрямый». Таким образом, первый носитель фамилии мог получить её не за спину, а за тяжёлый нрав.

География фамилии узкая. Наибольшая концентрация носителей — в западных областях России (Брянская, Смоленская) и на востоке Беларуси (Могилёвская, Гомельская области). Это зона, где исторически смешивались русские и белорусские говоры, и где типичны фамилии без суффиксов: Шевель, Коваль, Гарбуз. Горбажа вписывается в этот ряд.

С точки зрения словообразования интересно, что в фамилии нет типичного для русского языка суффикса -ач (Горбач), а стоит -аж. Это может быть следствием местного произношения или влияния польского языка (в польском суффикс -aż встречается в прозвищах). Однако версия с искажением исходного «Горбач» менее вероятна — фамилия устоялась именно в таком виде и не варьируется в документах.

Социальный статус предков, скорее всего, был крестьянским или казачьим. Фамилия не встречается в дворянских родословных книгах и не фиксируется в списках духовенства. Её носители — люди, чьё прозвище стало родовым именем ещё в XVII–XVIII веках, когда фамилии только начинали закрепляться у непривилегированных сословий.