Фамилия Жолтовский — это «географическая» фамилия, образованная от названия населённого пункта. В польской и западнорусской традиции суффикс -ский/-цкий указывал на дворянское происхождение или на то, что предок владел землёй в определённой местности. Жолтовский — буквально «тот, кто из Жолтвы» или «из Жолтова». Корень «жолт» — это западнославянское и украинское «жовтий», то есть «жёлтый». Названия вроде Жолтва, Жолтово, Жолтов могли давать по цвету почвы, воды в реке или по жёлтым пескам.

Фамилия характерна для польской шляхты и украинской старшины. В Речи Посполитой Жолтовские нередко упоминаются среди мелкопоместной знати, владевшей хуторами или фольварками. После разделов Польши многие носители фамилии оказались в Подольской, Волынской и Киевской губерниях Российской империи. Встречается и белорусский вариант — Жолтовский, где корень «жолт» означает то же самое.

Интересная деталь: в отличие от массовых крестьянских фамилий на -ов/-ев, Жолтовский почти всегда указывает на более высокий социальный статус предка. Даже если род обеднел, сама форма фамилии сохранила память о землевладении или службе. Встречаются и однокоренные фамилии: Жолтва, Жолткевич, Жолтов. Но Жолтовский — самый распространённый вариант, закрепившийся именно в дворянской среде.