Фамилия Свольская — редкий случай, когда географическое название почти наверняка перевесило личное прозвище. Это типичная «топонимическая» фамилия, образованная от названия населённого пункта через суффикс -ск- и окончание -ая, указывающее на принадлежность к женскому роду (в мужском варианте — Свольский). Такие фамилии в XIX веке часто получали дворяне, духовенство или выходцы из мещан по месту рождения или владения: «Свольский» буквально означает «тот, кто из Своли».

Корень «Свол-» отсылает к топониму. Самое вероятное объяснение — река Свольна или деревня Свольно в Псковской области (Невельский район). Название реки, скорее всего, балтского происхождения: ср. литовское «svalus» — «тяжёлый, грузный», либо «svalyti» — «чистить, лущить». В псковских говорах слово «своль» могло означать «сволочь» в старом, не ругательном смысле — «сброд, скопление», что тоже могло стать именем речки или урочища. В любом случае, основа не славянская, а балтская или финно-угорская, что для северо-запада России нормально.

Мужская форма Свольский встречается в польской шляхетской среде: есть шляхетский род Свольских герба Прус (Prus), известный с XVI века из-под Витебска и Полоцка. В Речи Посполитой такие фамилии на -ский были маркером благородного происхождения. После разделов Польши часть Свольских оказалась в Российской империи, и фамилия сохранилась в белорусских и псковских губерниях. Женская форма Свольская — естественное окончание для замужней женщины или дочери из этого рода.

Распространение фамилии сегодня крайне узкое: основные носители живут в Псковской области, Беларуси и в Москве как результат миграции XX века. Встретить Свольскую случайно почти невозможно — это фамилия с чёткой региональной привязкой и, вероятно, с польско-белорусскими корнями. Никакой связи с современным ругательным словом «сволочь» у неё нет: это совпадение звучания, а не значения.