Фамилия Гержа — одна из тех, что заставляют задуматься о балтийском следе в славянском ономастиконе. Её основа, скорее всего, восходит к литовскому глаголу geržti — «хрипеть, сипеть». Если это так, то прозвище Герж дали человеку с характерной манерой речи или особенностями голоса: хрипловатого, сиплого. Подобные прозвища по физическим признакам — распространённая модель в народной антропонимии.

Интересна и словообразовательная сторона. Фамилия застыла в краткой, усечённой форме, без типичных восточнославянских суффиксов (-ов, -ин, -ский). Это указывает либо на её украинское или белорусское происхождение (где такие «голые» формы встречаются чаще), либо на то, что перед нами вариант более длинного родового имени. В польско-литовской среде известен шляхетский род Гержад герба Любич. Не исключено, что родоначальник носителей фамилии Гержа был выходцем из этого рода, и со временем фамилия потеряла конечное «д» при переходе в другую языковую среду.

Примечательно, что существовали и однокоренные прозвища того же корня: Гержот, Гержид, Гержед. Все они, вероятно, образованы от той же балтийской основы, но с разными суффиксами. Сегодня фамилия Гержа встречается преимущественно в Белоруссии и на Украине — именно в тех регионах, где исторически пересекались славянские и балтийские языковые влияния.