Фамилия Костоянский — одна из тех, где корень сразу бросается в глаза, но его толкование неочевидно. Основа «Кост-» может восходить как к мужскому имени Константин (в народной форме Костя, Костян), так и к слову «кость». Фамилия образована по продуктивной модели с суффиксом -ск-, который в восточнославянской традиции чаще всего указывал на принадлежность к географическому объекту: поместью, селу, местности. Костоянский — это человек из Костян, то есть из населённого пункта с названием Костяны или Костяное. Такие топонимы встречаются в Польше и на западе Украины, и фамилия имеет явные следы польского или западнорусского влияния: суффикс -ян- (вариант -ан-) в основе указывает на принадлежность или происхождение.

Если же отталкиваться от прозвищного значения, то возможен и другой путь. В старину «костяным» могли называть человека крупного, костистого, либо, наоборот, худого — «кожа да кости». Но прозвища с корнем «кост-» в русских говорах чаще давали по профессии: костолом (тот, кто правил вывихи), костяник (торговец костью или резчик по кости). Однако суффикс -ск- для прозвищного происхождения нетипичен — он характерен для фамилий дворянских или тех, что возникли от названия владения. Поэтому версия с топонимом выглядит убедительнее.

Фамилия Костоянский — редкая. В дореволюционных источниках она не фиксируется в центральных губерниях России, но встречается среди поляков и украинцев Волыни, Подолья, а также в еврейских семьях, где её могли дать по местечку Костяны (например, в Бессарабии). В советское время носители фамилии расселились шире, но она осталась малочисленной. В отличие от массовых Костандовых или Костиных, Костоянский сохраняет связь с конкретной географической точкой, а не с личным именем.

Однокоренные фамилии — Костандов, Костанди, Костанян — показывают, как один корень обрастал разными суффиксами в зависимости от региона и этнической среды. Костоянский стоит особняком: его -ск- окончание выдает либо шляхетское, либо местечковое происхождение. Если ваши предки носили эту фамилию, стоит искать не в общерусских списках, а в метрических книгах западных губерний — там, где топонимы на -яны были обычным делом.