Фамилия Эльзер образована от аналогичного прозвища, которое восходит к немецкому слову else - «ольха». Согласно этому, можно предположить, что основатель рода Эльзер жил недалеко от ольховой рощи. Например, только у евреев можно было встретить такие фамилии, как Вейценбаум, что в переводе с немецкого означало «пшеничное дерево», Зауэрштром – «кислый поток», Левенфиш – «рыба-лев», Цигенбаум – «козье дерево», Квечман – «высказываться неохотно».