Фамилия Сербенская — женская форма от Сербенский, и её разумнее всего разбирать в мужском варианте, так как именно он лежит в основе. Перед нами типичная «географическая» фамилия, образованная по модели, распространённой в западнорусских и польско-литовских землях. Суффикс -ский указывает на принадлежность к местности или владению: Сербенский — это «тот, кто родом из Сербен» или «владелец Сербен». Исходный топоним, скорее всего, — Сербены или Сербен.

Где искать это место? Сразу напрашивается связь с этнонимом «серб», но для русской ономастики это редкий случай. Чаще всего названия вроде Сербены встречаются на территории современной Беларуси и Украины, где в XV–XVII веках существовали поселения, основанные выходцами с Балкан или получившие название по прозвищу первопоселенца. Например, в исторических документах упоминается село Сербены в бывшей Волынской губернии. Не исключено, что корень восходит к прозвищу Серб — так могли называть человека, побывавшего в сербских землях, торговавшего с сербами или просто имевшего смуглую внешность, которую ассоциировали с южанами.

Словообразовательная модель проста: основа Сербен- (от названия места или прозвища) плюс типичный шляхетский суффикс -ский. В Речи Посполитой такие фамилии часто закреплялись за мелкой шляхтой, которая брала фамилию по названию своего имения или хутора. Поэтому предки Сербенских могли быть небогатыми землевладельцами или однодворцами на западных окраинах Российской империи. Встречаемость фамилии невысокая, что подтверждает её локальное происхождение: основная масса носителей сосредоточена на западе России, в Беларуси и на Украине.

Стоит отметить, что в отличие от фамилий на -ов/-ин, которые обычно указывают на отчество или профессию, Сербенский/Сербенская — это «территориальная» фамилия, которая не говорит о занятии предка, а привязывает его к конкретному месту. Если ваши предки носили эту фамилию, имеет смысл поискать на старых картах Гродненской или Минской губернии хутор или деревню с похожим названием — скорее всего, именно оттуда и пошёл род.