Фамилия Остроская — редкий случай, когда географическое название перешло в фамилию почти без изменений, но с одной важной оговоркой: её носительницей, скорее всего, была женщина. Форма на -ая указывает на женский род, а мужской вариант — Остроский. Но в русской традиции такие фамилии закрепились за обоими полами: мужчина может писаться Остроский, а его дочь или жена — Остроская.

Основа фамилии — топоним Остров или Островск. Таких названий в славянском мире десятки: от города Остров в Псковской области до сёл Островское в разных регионах. Суффикс -ск- в фамилии — классический признак дворянского или шляхетского происхождения, но необязательно. В XIX веке такую фамилию могли получить крестьяне, переселившиеся из села Островского, или мещане, взявшие фамилию по месту жительства. Связь с польским родом Острожских (от Острога) маловероятна: там корень другой, и фамилия пишется через -ж-.

Менее очевидная версия — связь с прилагательным «острый». Если прозвище Острый давали человеку с острым языком, зорким глазом или даже с хитрой натурой, то фамилия могла образоваться через суффикс -ск-: Островский → Остроский (с утратой «в» в просторечии). Но это гипотеза слабая: для прозвищ типичны суффиксы -ов/-ев, а не -ск-.

В написании фамилии встречается вариант «Остроская» с одной «с» — это норма для южнорусских и украинских говоров, где в фамилиях на -ский часто упрощали сдвоенную согласную. Если ваши предки писались именно так, ищите их корни в сёлах с названием Островое, Островское или Остров на территории современной Украины, Беларуси или западных областей России.