Фамилия Ржавская восходит к названию города Ржев, расположенного в Тверской области на берегу реки Волги. Этот город упоминается с XII в. как Ржова, Ржава, Ржевск. Сам топоним, возможно, образован от древнерусских названий ручьев и небольших речек (Ржавей, Ржава), означающих воду буроватого цвета от глины или железистых примесей. Некоторые исследователи предполагают в основе топонима лежит личное имя Рыж. Веселовского упоминаются: Ржавский Федор Андреевич, 1584 г., Москва; Ржавый Кузьма Семенов, посадский человек, 1566 г., Устюжна Ржаединов Трофим, крестьянин, 1519 г., Суздаль. В результате, потомок человека, обладающего прозвищем Ржавский, со временем получил фамилию Ржавская.