Фамилия Желтовы (в форме множественного числа) восходит к личному прозвищу Желтый. Это типичная русская фамилия, образованная по модели «прозвище + суффикс -ов», указывающая на принадлежность к роду человека по прозвищу.

Само прозвище Желтый могло возникнуть по нескольким причинам. Самая прямая — внешность: светлые, рыжеватые волосы или особый цвет лица. Но есть и более конкретные версии. Прозвище могло стать профессиональным именованием: так могли называть мастеров, занимавшихся окрашиванием тканей или бумаги в желтый цвет, — красильщиков. В этом смысле фамилия указывает на ремесло предка.

Другая, менее очевидная версия, связана с бытом старого Петербурга. Согласно наблюдениям бытописателей, «желтыми» в насмешку называли легковых извозчиков, которые приезжали зимой в столицу на заработки. Возможно, предок носителей фамилии занимался именно этим промыслом.

Суффикс -ов в фамилии Желтов — самый распространенный патронимический формант, означающий «сын Желтого» или «из семьи Желтого». Фамилия закрепилась в письменных источниках довольно поздно, в период, когда прозвища окончательно переходили в наследственные фамилии (в основном в XVII–XIX веках). Точное место возникновения фамилии Желтов установить сложно, так как прозвище было распространено повсеместно, но по говорам можно предположить, что корни фамилии лежат в центральных или северных губерниях России.