Фамилия Елсовы образована от прозвища, а не от крестильного имени, и это главное, что стоит знать при её поиске. В основе лежит диалектный глагол «елосить», который в рязанских, тамбовских и владимирских говорах означал «ёрзать, ползать, пресмыкаться, быть пронырливым». В. И. Даль зафиксировал это слово в «Толковом словаре живого великорусского языка». Прозвище Елос, скорее всего, дали человеку непоседливому, хитрому или изворотливому. Выпадение гласного «о» в корне (Елос → Елсов) — обычное дело для русской фонетики, так что фамилия звучит естественно.

Менее вероятно, что фамилия восходит к именам вроде Елисей, Елизар или Елевферий, где основа начинается на «Ел-». Уменьшительная форма Елос для них возможна, но натянута. Ещё слабее версия с женским древнееврейским именем Елс (в значении «посвящённая Богу») — она не объясняет, почему фамилия закрепилась в мужском роде с суффиксом -ов.

Фамилия Елсовы — памятник живой народной речи, а не книжной традиции. Она показывает, как диалектное слово, почти забытое сегодня, превратилось в родовое имя. Точное место и время возникновения фамилии не установлены: процесс шёл постепенно, и такие прозвища могли закрепиться в разных губерниях независимо друг от друга.