Фамилия Желтовских — типичный представитель северорусских фамилий на -их/-ых. Такие фамилии, встречающиеся в документах с середины XVI века, означают «из дома таких-то»: Желтовских — значит «из дома Желтовских». В основе лежит прозвище Желтовский, которое, скорее всего, образовано от прилагательного «желтый». Цветовая характеристика могла указывать на внешность: светлая кожа, русые волосы. Но есть и другая, менее известная версия: в Петербурге XIX века Желтовыми в насмешку называли легковых извозчиков, приезжавших зимой на заработки. Если предок был извозчиком, прозвище могло закрепиться за ним, а затем перейти в фамилию через форму Желтовский.

Не исключено, что прозвище связано с топонимом. На карте России есть мыс Желтый на Камчатке и Желтый Яр в Биробиджане. В таком случае Желтовский — уроженец или житель одного из этих мест. Суффикс -ск- в прозвище типичен для фамилий, образованных от географических названий.

В Книге памяти Тюменской области зафиксированы Желтовских Лидия Федоровна (1901 г. р.) и Желтовских Надежда Николаевна (1930 г. р.) — обе уроженки деревни Гришогора Тобольского района. Эта запись подтверждает, что фамилия издавна бытовала в Сибири, куда её могли принести переселенцы из северных и центральных губерний России.