Фамилия Желтовский — типичная для восточнославянского ономастикона модель с суффиксом -ск-, указывающая на дворянское или шляхетское происхождение, либо на связь с географическим объектом. В основе лежит прозвище или прилагательное Желтовый, которое могло возникнуть несколькими путями.

Первая версия — профессиональная. Желтовым называли мастера, который занимался окрашиванием тканей, бумаги или кожи в жёлтый цвет. В старину красильное ремесло было распространённым, и прозвище по роду занятий закреплялось за целыми семьями. Вторая версия — социально-бытовая. В Петербурге XIX века легковых извозчиков, приезжавших зимой на заработки из деревень, насмешливо называли «желтовыми» — вероятно, из-за цвета тулупов или обивки саней. Третья версия — топонимическая. Фамилия могла возникнуть от названия места, где жил предок: мыс Жёлтый на Камчатке, село Жёлтый Яр в Биробиджане или другие урочища со словом «жёлтый» в названии. В таком случае суффикс -ский означает «родом оттуда».

Не исключено, что прозвище Желтовый изначально описывало внешность — светлые волосы или бледную кожу. Однако для фамилии с окончанием -ский такая бытовая мотивация менее характерна: обычно формант -ск- присоединяли к основе, обозначавшей либо владение (поместье), либо место рождения.

В архивных документах фамилия встречается в Сибири. В Книге памяти Красноярского края записан Желтовский Александр Григорьевич, 1891 года рождения, из деревни Седельниково Сухобузимской волости. В Книге памяти Омской области — Желтовский Александр Иванович, 1892 года, уроженец Тобольска. Оба случая подтверждают, что к концу XIX века фамилия прочно обосновалась в Енисейской и Тобольской губерниях, что косвенно поддерживает топонимическую версию: предки могли переселиться в Сибирь с запада, сохранив в фамилии память о прежнем месте жительства.