Фамилия Рымжа — это фонетический вариант более распространённой фамилии Рымша, и чтобы понять её происхождение, нужно разбирать именно исходную форму. В основе лежит прозвище Рымша, которое, по наиболее вероятной версии, восходит к литовскому слову rimti — «утихать, затихать, стихать». Так могли прозвать очень тихого, уравновешенного человека, который не лез в ссоры и вёл себя сдержанно.

Впрочем, есть и вторая трактовка, не менее логичная. Прозвище Рымша могли дать не взрослому, а ребёнку — спокойному, не плаксивому и не капризному. В крестьянской среде такие имена-обереги, подчёркивающие желаемое качество, встречались часто: назвав крикливого младенца «тихим», родители как бы программировали его характер. Обе версии сходятся в одном: основа фамилии — не ремесло и не место жительства, а черта нрава.

Сам переход от Рымши к Рымже объясняется чисто фонетически. В русском языке, особенно в западных говорах и при устной передаче фамилии, звук «ш» мог смягчаться и переходить в мягкое «ж». Так что Рымжа — не самостоятельное образование, а результат произносительной эволюции, закрепившийся в документах.

Отдельного упоминания заслуживает история рода Рымша. В Польше, Литве и Белоруссии известен шляхетский род Рымша герба Гоздава. Это даёт косвенную подсказку: предки носителей фамилии могли иметь не крестьянское, а дворянское происхождение, хотя со временем фамилия распространилась и в других сословиях. Точных данных о том, когда именно возник вариант Рымжа, нет, но сам факт существования шляхетской династии с той же основой добавляет фамилии глубины.