Мужское крестильное имя Елисей в переводе с древнееврейского означает «спасенный Богом». В основу фамилии легла производная форма имени — Елец. Скорее всего, основатель рода Ельцовых был выходцем из рабочей или крестьянской среды. Согласно другой версии, фамилия образована от прозвища Елец. Его мог получить человек, живший в густом еловом лесу. Кроме того, ельцом в Тверской и Псковской областях называют пронырливого, хитрого, предприимчивого человека. Таким образом, потомок человека, обладающего именем Елец, со временем получил фамилию Ельцова.