Фамилия Рубовы, а в своей исходной мужской форме Рубов, — это прозвищная фамилия, типичная для славянской традиции именования. В её основе лежит личное прозвище Руб, которое, в свою очередь, произошло от глагола «рубить». В древнерусском языке этот глагол имел широкий спектр значений: резать с размаху, тесать, сечь, делить на части ударом острого предмета, а также строить из брёвен и дерева. Это многозначность и определила круг занятий, которые могло обозначать такое прозвище.

Скорее всего, прозвище Руб относится к «профессиональным» именованиям. Оно указывало на род деятельности основателя фамилии. Предок мог быть дровосеком, лесником, плотником или строителем, поскольку «рубить» означало и возводить деревянные постройки. Не менее вероятно и военное прошлое: рубкой называли бой холодным оружием, поэтому Рубом могли прозвать мастера рубиться на саблях, храброго наездника или опытного воина. В старину это слово также применяли к охотнику.

Прозвище закреплялось за человеком как его основное, наиболее употребительное именование, вытесняя или дополняя крестильное имя. Когда возникла необходимость обозначить его потомков, к основе Руб добавили типичный славянский суффикс притяжательности -ов. Так образовалась фамилия Рубов, означающая буквально «сын Руба», «из рода Руба». В современном употреблении форма множественного числа «Рубовы» обозначает уже целую семью или династию.

Стоит отметить, что слово «руб» имело и самостоятельное значение — так в некоторых говорах называли грубую одежду, ветошь, а также меру длины. Однако связь с глаголом «рубить» остаётся основной и самой правдоподобной версией происхождения. Процесс формирования каждой конкретной фамилии мог быть длительным и не всегда имел привязку только к одной местности, поэтому окончательно говорить о точном времени и месте появления фамилии Рубовы можно лишь на основании серьёзных генеалогических исследований с привлечением архивных документов.