Прозвище Желтоух ведет свое начало от двух слов: «желтый» и «ухо». Вероятно, так называли человека с желтыми ушами. Причины такого явления могли быть различными. Возможно, это прозвище указывало на какое-то заболевание или же на род занятий человека: например, его уши могли быть испачканы глиной или краской. Одно из первых упоминаний прозвища в исторических источниках относится к середине XVII века: в «Ономастиконе» С.Б. Веселовского записан Желтоух Петр Михайлович Пушкин, 1639—1684 гг. Таким образом, потомок человека, обладающего прозвищем Желтоух, со временем получил фамилию Желтоухова.