Фамилия Зарубаев образована от прозвища Зарубай, которое восходит к глаголу «зарубить». Скорее всего, это прозвище указывает на внешние особенности предка: вероятно, основатель рода Зарубаевых имел на теле заметную «зарубку», то есть шрам, рубец. На Руси так нередко называли раненных воинов. Кроме того, не исключено, что прозвище Зарубай относится к так называемым «профессиональным» именованиям, указывающим на род деятельности человека. Так, предок обладателя фамилии Зарубаевых мог быть мясником. Так и прозвище Зарубай закрепилось за человеком в качестве наиболее употребительного именования, а со временем легло в основу фамилии Зарубаев.