Фамилия Эльц образована от прозвища, связанного с топонимом. Так, в Германии протекает река Эльц, а также существует несколько мест, носящих это название. Например, Эльц недалеко от Лимбурга (Гессе) или Эльц на реке Мозель. Кроме того, с давних времен известен замок Эльц (нем. Burg Eltz) — один из самых красивых замков Германии. Он находится в земле Рейнланд-Пфальц близ Виршема в долине реки Эльцбах, отделяющей Майфельд от предгорьев Айфеля. Этот замок имеет богатую историю: считается, что он был построен в XII в. Впервые название Эльц упоминается в дарительной грамоте Фридриха I Барбароссы, в которой в качестве свидетеля упоминается имя «Рудольфуса де Эльце». Скорее всего, основатель рода Эльц жил в одном из этих населенных пунктов, либо недалеко от замка Эльц.