Фамилия Шарубски — редкий для России пример фамилии с польским или белорусским суффиксом. Её основа — прозвище или имя, а окончание указывает на дворянское или шляхетское происхождение.

Корень «Шаруб» — это, скорее всего, искажённое «шеруба» или «шаруба» (от польского szaruba — «шероховатый, грубый»). В польских и западнорусских говорах так могли прозвать человека с жёстким нравом, нелюдимого или просто того, кто работал с грубыми материалами (например, с неструганым деревом). Есть и другая версия: «шаруб» — вариант имени Серафим (через народное «Сарафим» → «Шарафим» → «Шаруб»). В ономастике такие сокращения имён — обычное дело.

Суффикс «-ски» (польск. -ski, белорус. -скi) — типичный маркер шляхетской фамилии. В Речи Посполитой так образовывали фамилии от названий имений или прозвищ, чтобы подчеркнуть принадлежность к благородному сословию. Если бы фамилия закрепилась у крестьян, она получила бы суффикс «-ов» или «-ин»: Шарубов, Шарубин.

Географически фамилия Шарубски тяготеет к западным регионам: Польша, Беларусь, Литва, а также к западным областям современной России (Смоленщина, Брянщина), где долго жили ошляхетчиные крестьяне. Встречается и вариант написания «Шарубский» — с твёрдым «ы» на конце, но это уже влияние русской орфографии.

Таким образом, предок носителя фамилии Шарубски был либо мелким шляхтичем из западных земель, либо человеком, получившим прозвище за грубоватый характер или ремесло. Фамилия не массовая, но с чёткой региональной привязкой и сословным оттенком.