Фамилия Мильман образована от прозвища, которое ведет свое начало от двух слов: mil, что в переводе с идиш значит «мельница» и man - «человек». Скорее всего, прозвище Мильман относилось к числу «профессиональных» именований и указывало на род занятий человека. Так, основатель рода Мильман мог быть мельником или рабочим на мельнице. Например, только у евреев можно было встретить такие фамилии, как Вейценбаум, что в переводе с немецкого означало «пшеничное дерево», Зауэрштром – «кислый поток», Левенфиш – «рыба-лев», Цигенбаум – «козье дерево», Квечман – «высказываться неохотно».