Фамилия Диллер образована путём прибавления к основе Дол- (от древнеанглийского прозвища «dol» - «глупый») суффикса принадлежности –ер (–er). Согласно другой, менее правдоподобной версии, фамилия Диллер восходит к английскому слову dill – укроп. В этом случае Диллером могли прозвать того, что выращивал или продавал укроп. Из однофамильцев особенно знаменит голливудский антрепренёр Барри Диллер, руководивший кинокомпаниями «Парамаунт» и «XX Век Фокс».