Фамилия Шкарубская — женская форма, а мужская, Шкарубский, образована по типичной для восточнославянских земель модели с суффиксом -ск- (ср. Заболоцкий, Смоленский). Такие фамилии чаще всего указывали на географическое происхождение: предок мог владеть или жить в месте с названием Шкарубы, Шкарубово или похожим. Точной топонимической привязки нет, но логично искать корни на территории современных Украины, Беларуси или юга России — именно в этих регионах суффикс -ский/-цкий получил массовое распространение у шляхты и крестьян, особенно после разделов Речи Посполитой.

Основа фамилии — прозвище Шкаруба. В украинском языке «шкаруба» означает «шрам», «рубец», «царапина» или «чесотка» (сравните с белорусским «шкаруба» — «струп», «шелуха»). Прозвище могли дать человеку со следами на коже от болезни или ранения. В переносном смысле «шкаруба» иногда обозначала придирчивого, въедливого человека — как бы «царапающего» других. Менее вероятна, но возможна связь с польским «skoruba» (черепок, осколок) — тогда прозвище относилось к гончару или человеку с ломким, резким характером.

Сословная принадлежность носителей фамилии, скорее всего, была неоднородной. В реестрах шляхты Волынской и Подольской губерний XIX века встречаются Шкарубские, что говорит о возможном дворянском происхождении ветви, но основная масса Шкарубских — потомки крестьян и мещан, получивших фамилию по прозвищу предка. В советское время фамилия не была редкой: в базах данных погибших в Великую Отечественную войну числится не один десяток Шкарубских, причём с концентрацией в Винницкой, Хмельницкой и Житомирской областях.

Если говорить о словообразовательном нюансе, то фамилия Шкарубская стоит в ряду таких же «шрамовых» фамилий, как Рубцов, Шрамко, Царапкин. Но в отличие от них, она сохранила архаичную диалектную основу — «шкаруба» почти вышла из живого употребления, оставшись лишь в говорах западных областей. Поэтому фамилия — своеобразный лингвистический маркер: её носители почти наверняка имеют корни в зоне украинско-белорусского пограничья, где этот диалектизм был в ходу.