Фамилия Зарубовы образована от личного прозвища Заруб, которое этимологически связано с глаголом «зарубить». Скорее всего, прозвище указывало на внешнюю особенность: основатель рода имел на теле заметную зарубку — шрам или рубец. Такие прозвища по физическим приметам были распространены в славянской среде: человека могли назвать Шрамом, Рубцом или, как в этом случае, Зарубом.

Модель образования фамилии проста: к основе Заруб добавили типичный русский суффикс -ов, указывающий на принадлежность («чей?» — «Зарубов сын»). Это характерно для большинства русских фамилий, возникших в XV–XVII веках. Интересно, что в некоторых диалектах слово «заруб» имело и другие значения: так могли называть зарубку на дереве как границу владения, метку на улье или даже топор. Поэтому не исключено, что прозвище могло относиться к человеку, который ставил зарубки-метки (лесник, бортник) или к тому, кто работал топором (плотник, дровосек). Однако версия со шрамом остаётся самой прямой и правдоподобной.

Фамилия Зарубов — не единственная в этом словообразовательном гнезде. Однокоренные фамилии Зарубин, Зарубкин, Зарубский отличаются суффиксами, но восходят к той же основе. При этом Зарубовы встречаются реже, чем Зарубины, что делает фамилию более редкой и локальной. О точном месте и времени её возникновения сейчас говорить сложно, так как процесс формирования фамилий был длительным и шёл в разных регионах неравномерно. Тем не менее, фамилия Зарубов сохраняет память о прозвище, которое когда-то точно описывало своего первого носителя.