Фамилия Желтовская образована от прозвища Желтовый. В таком случае прозвище Желтовый относится к числу «профессиональных» именований, содержащих указание на деятельность предка: он мог заниматься окрашиванием тканей или бумаги. Кроме того, Желтовыми насмешливо называли легковых извозчиков, приезжающих зимою в Петербург на промысел. Не исключено, что прозвище образовано от топонима, в названии которого присутствует слово «желтый». Например, мыс Желтый на Камчатке, Желтый Яр в Биробиджане. Можно предположить, что родоначальник Желтовских был уроженцем или жителем одного из этих мест. Таким образом, потомок человека, обладающего прозвищем Желтовый, со временем получил фамилию Желтовская.