Фамилия Высторобский заставляет задуматься: что за «выстороб» скрыт в её основе? В отличие от множества фамилий на -ский, которые образованы от названий сёл или рек (например, Заозёрский или Городецкий), эта явно ведёт происхождение от прозвища или неканонического имени. Корень здесь — «стороб», который в русских говорах имел несколько значений. В псковских и тверских диалектах «сторобом» называли упрямого, своенравного человека, того, кто «сторобится» — упирается, артачится. В других областях слово могло означать «скряга» или «ворчун». Приставка «вы-» в прозвище обычно усиливала качество: «выстороб» — это не просто упрямец, а человек крайне строптивого нрава.

Суффикс -ский указывает на то, что фамилия сформировалась в среде польской или западнорусской шляхты, а также среди духовенства. В XVII–XVIII веках такие фамилии часто давали семинаристам: их «облагораживали», переводя простонародное прозвище в форму, похожую на дворянскую. Вряд ли Высторобские происходят из одного конкретного села — топонимов с таким корнем не зафиксировано. Скорее всего, первый носитель получил фамилию по отцу, которого в ревизских сказках записали как «Выстороб» — то есть «Сын Выстороба».

Географически фамилия тяготеет к западным и северо-западным регионам бывшей Российской империи. Встречается она в основном среди потомков крестьян и мещан из Витебской, Смоленской и Псковской губерний. Редкость фамилии объясняется тем, что диалектное слово «стороб» уже к XIX веку вышло из активного употребления, а сама модель образования (приставка + корень + -ский) не была массовой. Если сравнивать с однокоренными вариантами, то фамилия Сторобский встречается чаще, но именно форма с «вы-» сохранила архаичный оттенок прозвища, которое давали за характер, а не за место жительства.