Фамилия Шерминский звучит как типичная польская или западнорусская фамилия, образованная по модели «прилагательное + -ский». Суффикс -ский указывает на дворянское или шляхетское происхождение, либо на связь с географическим названием. В основе фамилии лежит топоним — скорее всего, название населённого пункта Шермино, Шермин или похожее. Такие названия встречаются в Польше и на западе современной Беларуси, в исторических землях Великого княжества Литовского. Соответственно, первый носитель фамилии был либо владельцем, либо уроженцем такого места — «шляхтич из Шермина» или «человек из Шермина».

Корень «шерм» не прозрачен для русского уха. Он может восходить к польскому слову «szerm» (фехтование, бой) или к древневерхненемецкому «skirm» (защита, щит). В польской ономастике есть фамилия Szermiński, и Шерминский — её русифицированная форма. В этом случае прозвище предка могло быть связано с военным делом: фехтовальщик, мастер меча. Однако более вероятна топонимическая версия, поскольку суффикс -ский редко образуется напрямую от прозвища без географической привязки.

В России фамилия редкая, встречается в основном в центральных областях и в Сибири, куда переселялись поляки и западнорусские дворяне после разделов Речи Посполитой. Написание с «и» (Шерминский, а не Шерменский) закрепилось, вероятно, под влиянием польской орфографии, где «e» в безударной позиции могло переходить в «i». Двойник фамилии — Шерменский — встречается ещё реже и может быть вариантом того же корня.

Если отталкиваться от географической версии, то носитель фамилии Шерминский — потомок мелкопоместной шляхты или однодворцев, которые после утраты привилегий смешались с крестьянством. В любом случае, фамилия указывает на западное, польско-литовское происхождение рода, что подтверждается и типичным суффиксом, и необычным для великорусских земель корнем.