По одной из версий, оно восходит к топониму Шарупы – деревня в Гродненской области Белоруссии. Исходя из этого, можно предположить, что Шарубой прозвали выходца из деревни Шарупы. Согласно другой гипотезе, прозвище Шаруба ведет свое начало от диалектного глагола «шарупать» - «обдирать, драть». В таком случае прозвище Шаруба, скорее всего, относится к числу «профессиональных» именований, содержащих указание на род деятельности основателя фамилии: он мог заниматься сдиранием лыка — коры липы, которую в старину использовали для изготовления лаптей, а также коробов и кузовков. Чередование согласных б/п объясняется историческими процессами, происходившими в ходе развития языка.