Прозвище Заруба нередко получал человек с заметным шрамом или рубцом на лице — от глагола «зарубить» в значении «оставить рубец». Поэтому фамилия прямо указывает на внешнюю особенность предка, которую окружающие запомнили и закрепили в качестве семейного имени. В основе лежит не столько ремесло или характер, сколько конкретная примета: кого-то прозвали Зарубой из-за следа от сабли или топора, и это прозвище перешло к детям и внукам.

Старейшее документальное свидетельство — Конон Алексеев Заруба, упомянутый в московских записях 1522 года. Через сто с лишним лет, в 1638 году, в тех же местах жил подьячий Терентий Зарубин. Оба примера показывают, что прозвище бытовало в среде служилых и приказных людей, а не только среди крестьян или ремесленников. Кстати, фамилия Зарубин, образованная через суффикс -ин, встречается чаще, чем исходная форма Заруба, — она указывает на прямое родство («чей?» — сын Зарубы).

В украинском языке слово «заруба» имеет и другое значение — «засека», «лесной завал», но для русской фамилии эта версия менее вероятна: прозвища по физическим признакам в XVI–XVII веках давали гораздо активнее, чем по географическим объектам. Кроме того, параллельные фамилии с тем же корнем — Зарубкин, Зарубцов — подтверждают связь с рубцом, а не с засекой.

Словообразовательная модель проста: основа «заруб-» и окончание -а, характерное для прозвищ, которые потом закрепились как фамилии без дополнительных суффиксов. Такие бессуффиксные фамилии встречаются реже патронимических на -ов/-ев и -ин, что делает Зарубу более старой по типу — она могла застыть в исходной прозвищной форме ещё до того, как в русской антропонимии стали массово добавлять суффиксы принадлежности.