Фамилия Скарбовский звучит по-шляхетски, с типичным польским суффиксом -ский, который в старой Речи Посполитой указывал на принадлежность к дворянскому сословию или владение землей. Однако корень у неё не польский, а скорее белорусский или украинский, что сразу наводит на мысль о восточных кресах бывшей Речи Посполитой.

Основа фамилии — слово «скарб» (от польского skarb, через литовское и древнерусское заимствование). В польском и западнорусских говорах «скарб» означает «сокровище», «казна», «богатство» или «имущество». Человек, получивший прозвище Скарб, мог быть казначеем, хранителем казны, сборщиком податей или просто богатым хозяином. В белорусском языке «скарб» также имеет значение «клад», что добавляет оттенок загадочности — возможно, предок нашёл клад или прослыл скопидомом.

Модель образования проста: к прозвищу Скарб добавился притяжательный суффикс -ов (Скарбов — «сын или человек Скарба»), а затем фамильный дворянский формант -ский. На практике это значит, что Скарбовские могли быть мелкими шляхтичами или однодворцами, которые получили фамилию по имени предка-казначея или по названию имения, где стоял «скарб» — хозяйственный двор или кладовая.

Географически фамилия плотно привязана к территории современной Беларуси, Восточной Польши и Западной Украины. В Российской империи Скарбовские встречались в Гродненской, Минской и Виленской губерниях. Это не массовая фамилия, а скорее локальная, что указывает на происхождение из одного рода, разошедшегося по соседним уездам. Встречается и вариант написания через «х» — Скарбохский, но он редок и, скорее всего, результат ошибки в метриках.

С точки зрения социального статуса, носители фамилии в XIX веке чаще всего были мещанами или крестьянами, хотя в польских гербовниках упоминается шляхетский род Скарбовских герба «Корчак» или «Лелива». Но это именно польская ветвь, а большинство восточных Скарбовских, вероятно, происходят от казаков или «холопской шляхты», чей предок служил при панском дворе казначеем и получил прозвище по должности.