Фамилия Рымжа образована от прозвища Рымша. Скорее всего, она восходит к литовскому слову rimti – «утихать, затихать, стихать». Таким образом, его мог получить очень тихий, уравновешенный человек. Однако возможно, что в основе этой фамилии лежит имя Рымша, которое дали спокойному, не плаксивому, не капризному ребенку. Строго говоря, Рымжа – это фонетический вариант фамилии Рымша. В истории известен польско-белорусско-литовский шляхетсякий род Рымша герба Гоздава.