Фамилия Зарубей — редкий пример прозвища, которое перешло в фамилию без добавления типичных суффиксов (-ов, -ин, -ский). Такая «голая» форма характерна для украинской и белорусской традиции именования, где прозвище становилось фамилией как есть. Поэтому географически фамилия Зарубей скорее всего ведет начало из западнорусских земель или Малороссии.

В основе фамилии — глагол «зарубить». Прозвище Зарубей могло закрепиться за человеком по двум разным линиям. Первая, самая прямая, — внешняя примета. Зарубкой на Руси называли шрам, рубец на теле, особенно заметный. Такое прозвище могли дать воину, вернувшемуся с поля боя со следами сабельных ударов. Вторая версия указывает на профессию: зарубей — тот, кто рубит, разделывает туши. В этом случае предок современного носителя фамилии мог быть мясником или живодером.

Менее вероятна, но возможна связь с глаголом «зарубить» в значении «убить» — такое прозвище мог получить человек, совершивший убийство, или, напротив, палач. Однако в ономастике прозвища с откровенно криминальным оттенком приживались реже, чем описательные или профессиональные. Поэтому версия со шрамом или ремеслом мясника выглядит правдоподобнее.

Интересно, что фамилия Зарубей не имеет ничего общего со словом «зарубежный»: несмотря на внешнее сходство, корни разные. «Зарубежный» образован от «рубеж» (граница), а Зарубей — от «рубить». В русских говорах встречается и слово «заруба» — засечка, метка на дереве, но для прозвища человека такая основа менее характерна.

Встречаемость фамилии невысокая, что говорит о её локальном происхождении. Носители Зарубея сегодня живут в основном на Украине и в приграничных областях России. В дореволюционных метрических книгах фамилия фиксируется в Черниговской и Полтавской губерниях — это подтверждает связь с украинской антропонимической моделью.