Фамилия Костенская принадлежит к распространённому типу русских фамилий, образованных от географических названий с помощью суффикса -ский/-цкий. В основе лежит топоним Костенки, Костево или Костенская — такие названия встречаются в Воронежской, Курской, Тверской и других областях. Самый известный — село Костёнки под Воронежем, знаменитое палеолитической стоянкой. Носитель фамилии Костенская, скорее всего, потомок человека, который переехал из такого места или владел им, а суффикс -ский указывал на принадлежность: «из Костенок» или «князь Костенский».

Мужской вариант — Костенский. В старину такие фамилии закреплялись за дворянами и духовенством, но позже их получали и крестьяне, переселившиеся из одного села в другое. В основе топонима лежит либо личное имя Костя (уменьшительное от Константин), либо диалектное слово «костень» — твёрдый, упрямый человек, либо прозвище от «кость» (возможно, костлявый или костоправ). В любом случае, корень один — «кост-».

В отличие от фамилий с суффиксом -ов/-ин (Костенков, Костин), которые прямо указывают на отца, Костенская — «географическая» модель. Она говорит не о родстве, а о месте жительства или происхождения. Если ваш предок был крестьянином, фамилию могли дать при переписи после отмены крепостного права, записав его по деревне. Если дворянином — она могла быть наследственной, от поместья.

Спорных версий тут немного. Иногда Костенскую ошибочно связывают с украинским «кістка» или польским «kość», но в русском контексте это топонимическая фамилия, и её география — преимущественно южнорусские и центральные губернии. Сегодня она встречается нечасто, но её носители могут найти корни в Воронежской области или на Смоленщине.