Оно берет начало от германского прилагательного schēf со значением «изгибистый, кривой». В старину кривыми называли людей с какими-либо физическими недостатками: ослепших на один глаз, припадающих на один бок при ходьбе и т.д. Вероятно, именование Шефф отражает некоторые особенности внешности его обладателя. Так могли назвать того, кто имел какое-то увечье, полученное в битве или по несчастному случаю. Возможно также, что прозвище Шефф характеризует то место, где жил человек. Так могли назвать того, чье селение располагалось в местности со сложным ландшафтом. Среди известных однофамильцев можно назвать австрийского ватерполиста, бронзового призера Олимпийских игр 1908 года Отто Шеффа. Фамилии немецкого происхождения встречаются как в немецкоговорящих странах (например, в Германии, Австрии, Швейцарии, Лихтенштейне, Люксембурге), так и на территориях, где традиционно проживают общины немцев (в Бельгии, Дании, Франции, Чехии, Словакии, Венгрии, Румынии, Казахстане, России и т.д.).