Прозвище Ромжа образовано от нарицательного «рамжа», которое имеет значение «остатки товаров, не проданных на ярмарке». Вероятно, основатель рода Ромжа был торговцем.