Фамилия Елсуфьева образована от мужского имени Елсуфий, которое имеет двойную этимологию. В основе лежит греческое имя Евсевий — «благочестивый». В русской народной среде оно претерпело характерные фонетические изменения: Евсевий превратился в Елсевия, а затем в Елсуфия. С. Б. Веселовский в своем труде по ономастике упоминает Жидовинова Елсуфия, помещика 1519 года из Переяславля — это одно из ранних свидетельств бытования имени.

Вторая версия возводит Елсуфия к другому греческому имени — Евтихий, что значит «счастливый». Обе гипотезы лингвистически допустимы, но первая (от Евсевия) считается более вероятной: цепочка звуковых переходов здесь прозрачнее и типична для русской адаптации греческих имен.

Примечательна форма Олсуфий — один из фонетических вариантов того же имени, который встречался еще в XIX веке. Именно его использовал Ф. М. Достоевский в повести «Двойник» для персонажа Олсуфия Ивановича. Суффикс -ев- в фамилии указывает на принадлежность: Елсуфьева — буквально «жена или дочь Елсуфия». Со временем фамилия закрепилась в роду, утратив прямую связь с именем предка.