Фамилия Зарубов образована от прозвища Заруб. Связь с глаголом «зарубить» здесь прямая, но не стоит сразу думать о ремесле мясника или лесоруба — хотя и такие версии возможны. Чаще всего прозвище Заруб давали человеку с заметным шрамом, рубцом на теле. В русских говорах «зарубка» — это не только насечка на дереве, но и след от раны, рубец. Так что первый носитель фамилии, скорее всего, выделялся приметным физическим признаком, который и закрепился за ним в качестве имени.

Фамилия построена по самой распространённой в русской ономастике модели: прозвище плюс суффикс -ов, указывающий на принадлежность. Зарубов — буквально «сын Заруба» или «из рода Заруба». Суффикс этот типичен для центральных и северных регионов России, что делает фамилию скорее великорусской, чем украинской или белорусской (там чаще встречались бы формы Зарубенко, Зарубский).

Географически фамилия Зарубов нечастая, но встречается в документах по Воронежской, Курской и Ростовской областям. В этих местах слово «заруб» имело и дополнительное значение — засека, укрепление из срубленных деревьев, пограничный лесной завал. Не исключено, что в отдельных случаях прозвище могло достаться тому, кто жил у такой засеки или строил её. Но версия со шрамом остаётся основной: она проще и логичнее для прозвища, которое давали человеку в быту.

Если сравнивать с однокоренными фамилиями — Зарубин, Зарубкин, Зарубский, — то Зарубов стоит ближе всего к исходному прозвищу без уменьшительных суффиксов. В словаре Б. Унбегауна «Русские фамилии» модель на -ов от прозвищ с основой на твёрдый согласный описана как самая массовая, а сама фамилия Зарубов упоминается в ряду подобных образований от глагольных корней.