Фамилия Ельзова — женская форма, но разговор о ней всегда начинается с мужского варианта Ельзов. В основе фамилии лежит не дерево, как может показаться на первый взгляд, а имя или прозвище. Корень «ельз» — это искажённая в народном произношении форма канонического имени Елисей. В русских говорах имя Елисей нередко сокращали до Ель, Еля, а потом добавляли суффикс -з, получалось Ельз. Такая модель словообразования (усечение имени + суффикс -з) встречается и в других фамилиях, например, от имени Афанасий — Афонасьев, но с другим суффиксом. Здесь же мы видим редкий случай, когда основа потеряла большую часть звуков, оставив лишь узнаваемый костяк.

Другая версия, менее распространённая, но имеющая право на существование, — связь с диалектным словом «ельза». В некоторых областях так называли непоседливого, вертлявого человека или, наоборот, того, кто любит привередничать, капризничать. Если принять эту гипотезу, то Ельзов — это сын прозвищного человека, Ельзы. Однако первое объяснение, через имя Елисей, выглядит убедительнее: оно вписывается в общую картину русских фамилий, образованных от разговорных форм крестильных имён.

Суффикс -ов указывает на принадлежность: Ельзов — это «чей?» — сын Ельза, потомок человека по имени или прозвищу Ельз. Фамилия не относится к числу дворянских, её носители — скорее всего, выходцы из крестьянской или мещанской среды. Встречается она преимущественно на севере и северо-востоке европейской части России, особенно в Архангельской, Вологодской и Кировской областях. Там, где старые говоры дольше сохраняли архаичные формы имён, фамилия Ельзов и закрепилась.

В дореволюционных переписях фамилия фиксируется с XVII века, но массовое распространение получила после отмены крепостного права, когда бывшие крепостные получили полные фамилии. Сегодня Ельзовы — редкая фамилия, и её носители, скорее всего, связаны общим предком, которого когда-то звали Ельзой, то есть Елисеем по-домашнему.