Фамилия Елсуфьев происходит от имени Елсуфий — редкого варианта греческого имени Евсевий («благочестивый»). История этого имени в русском языке — цепочка звуковых изменений: Евсевий превратился в Елсевия, а затем в Елсуфия. В XVI веке это имя уже бытовало: в словаре С. Б. Веселовского записан Жидовинов Елсуфий, помещик из Переяславля (1519 год). Есть и вторая версия: имя могли возводить к Евтихию («счастливый»), но первая выглядит убедительнее — переход «вс» в «лс» встречается в русской народной речи чаще, чем замена «вт» на «лс».

Фамилия образована по стандартной патронимической модели: суффикс -ев указывает на принадлежность — «сын Елсуфия». Один из фонетических вариантов имени — Олсуфий — сохранялся в литературе XIX века: так звали персонажа повести Ф. М. Достоевского «Двойник», Олсуфия Ивановича. Эта параллель показывает, что имя не было книжным или выдуманным, а встречалось в реальном быту.

О точном месте и времени возникновения фамилии Елсуфьев говорить сложно — фамилии в России закреплялись неравномерно, на протяжении нескольких столетий. Но сама основа, имя Елсуфий, даёт редкий пример того, как греческое каноническое имя обрастало местными произносительными привычками и превращалось в почти неузнаваемое, но живое прозвище, а затем и в фамилию.