Фамилия Желтов — одна из тех, что образованы от прозвища, и в основе её лежит прилагательное «жёлтый». В большинстве случаев такие фамилии указывали либо на внешность (светлые или рыжеватые волосы, цвет кожи), либо на занятие. В случае с Желтовыми есть основания говорить именно о ремесле: прозвище Жёлтый могли дать человеку, который красил ткани, бумагу или кожу — в старину это было заметное и востребованное дело. Мастера-красильщики нередко получали прозвища по цвету, с которым работали.

Но есть и другая, менее очевидная версия, связанная с бытом старого Петербурга. В XIX веке легковых извозчиков, которые приезжали зимой в столицу на заработки, в народе насмешливо называли «жёлтыми» — из-за цвета их тулупов или номерных знаков. Прозвище могло закрепиться за целой семьёй, а затем перейти в фамилию.

Словообразовательная модель проста: к основе «жёлт-» добавился типичный русский суффикс -ов, указывающий на принадлежность («чей?» — Желтов, то есть сын или потомок Жёлтого). Это одна из самых распространённых моделей в русских фамилиях, но в данном случае интересна сама основа — она не от крестильного имени, а от прозвища, что говорит о мирском, бытовом происхождении фамилии.

Стоит заметить, что фамилия Желтов встречается не только в центральной России, но и в Поволжье, на Урале, а также среди старообрядцев — там цветовые прозвища были особенно распространены. В словаре Б. Унбегауна «Русские фамилии» цветовые фамилии выделены в отдельную группу, и Желтов в ней соседствует с Беловым, Черновым, Красновым — но с той разницей, что «жёлтый» реже становился основой для фамилии, чем «белый» или «чёрный», что делает её несколько более редкой.

Таким образом, предки современных Желтовых с высокой вероятностью были либо ремесленниками-красильщиками, либо извозчиками, причём вторая версия имеет более узкую региональную привязку (Петербург и его окрестности). Обе гипотезы не противоречат друг другу — в разных ветвях рода фамилия могла возникнуть независимо и по разным причинам.