Фамилия Костенецкий образована от прозвища Костенец. Древнерусское слово «костенец» имело несколько значений. Прямое — человек с больной или поврежденной ногой (от «костенеть», терять подвижность). Но уже в XVI–XVII веках прозвище получило переносный смысл: так называли страстного, упрямого картежника, который, по поверьям, «коченел» за игрой, не в силах оторваться от стола.

Модель образования типична для восточнославянских фамилий: основа (прозвище Костенец) плюс суффикс -ский, который указывал на принадлежность к роду или местности. В отличие от фамилий на -ов/-ев, суффикс -ский чаще встречался у шляхты и духовенства, а также у выходцев из западнорусских земель. Поэтому Костенецкие могли быть потомками либо служилых людей (например, казацкой старшины), либо священников, бравших фамилию по названию села или прозвищу предка.

Существует версия, что в основе лежит просторечная форма крестильного имени Константин (от лат. constans — «стойкий, постоянный»). Однако эта гипотеза маловероятна: от Константина в народе образовывали Костю, Косточку, Костяна, но не Костенца. Форма на -енец указывает скорее на прозвище, чем на сокращение имени.

Географически фамилия тяготеет к юго-западу: Костенецкие встречаются среди запорожских казаков, в документах XVIII века упоминаются в Киевской и Полтавской губерниях. Реже — на севере, где «костенец» могло означать жителя местности с каменистой, «костливой» почвой.

Таким образом, основная версия — прозвищная: предок Костенецких получил свое прозвание либо за физическую особенность (хромоту), либо за азартный и несгибаемый характер.