Основой фамилии Елсуфьева послужило имя Елсуфий. Мужское имя Елсуфий ведет свое начало от греческого имени Евсевий, в переводе означающего «благочестивый». В русском языке Евсевий превратился в Елсевия, а затем в Елсуфия. Веселовского записан Жидовинов Елсуфий, помещик, 1519 г., Переяславль. По другой версии, имя Елсуфий — русский вариант другого греческого имени — Евтихий, означающего «счастливый». Один из фонетических вариантов имени Елсуфий — Олсуфий — бытовал еще в XIX веке. Такое имя носит персонаж повести Ф. Достоевского «Двойник», Олсуфий Иванович. Таким образом, потомок человека, обладающего именем Елсуфий, со временем получил фамилию Елсуфьева.