Фамилия Горжа редкая и неочевидная — её происхождение не лежит на поверхности, как у типичных «профессиональных» или «отчественных» фамилий. Скорее всего, перед нами прозвище, застывшее в краткой форме без типичных русских суффиксов -ов, -ин или -ский. Такое оформление намекает на украинские, белорусские или польские корни, где фамилии часто оставляли «голыми» — без родового окончания.

Самая прямая версия отталкивается от слова «горж» или «горжа» в значении «горло», «горжовина». В юго-западных говорах так называли узкий проход, теснину, а также воротник или часть доспеха, защищающую шею. Прозвище Горжа могли дать человеку с мощной шеей, громкоголосому, либо тому, кто жил в узком месте — в овраге, у перешейка. Встречается и другое значение: в диалектах «горжа» — это «горсть», «пригоршня»; прозвище могло закрепиться за скупым или, наоборот, щедрым человеком, которого характеризовали через его «горсть».

Менее вероятно, но возможно, что фамилия восходит к французскому gorge — «горло», «ущелье». Такое заимствование могло появиться в среде обрусевших дворян или военных после Отечественной войны 1812 года, но для крестьянской среды это маловероятно. Скорее, это случайное совпадение.

В польской ономастике встречается фамилия Gorża — от gorzeć (гореть) или от названия реки. Если носитель фамилии из западных областей, стоит проверить польские метрики: там Горжа могла возникнуть независимо от русского прозвища.

Сословная принадлежность предков неясна — фамилия не попала в списки столбового дворянства и не встречается в ранних переписных книгах центральной России. Скорее всего, её носили крестьяне или мещане из черноземных или западных губерний. В современных базах фамилия Горжа встречается единично — в основном на Украине и в приграничных с Беларусью областях России, а также в среде потомков эмигрантов первой волны.