Фамилия Костэнко сразу привлекает внимание необычным написанием: через «э» после «т». В русском языке такое встречается редко, и это ключ к разгадке. Скорее всего, перед нами не исконно русская фамилия, а украинская или белорусская, записанная по правилам русской орфографии. В украинском языке, где «е» после твердых согласных читается как [э], фамилия пишется Косте́нко, а при переносе в русский текст букву «е» могли заменить на «э», чтобы сохранить произношение. Но есть и другая версия: фамилия могла возникнуть у носителей, говоривших на диалекте, где звук [э] был отчетливым и требовал особого обозначения на письме.

Основа фамилии — имя Кость, украинская форма от Константин (через уменьшительное Кондрат или простонародное Костя). Суффикс -енко — типичный украинский патронимический показатель, означающий «сын» или «потомок». Таким образом, Костэнко — это «сын Кости». Модель образования проста и распространена на востоке Украины и в южных областях Беларуси: от личного имени через суффикс -енко получали фамилии крестьяне и казаки в XVI–XVII веках.

В отличие от русских фамилий на -ов/-ев или -ин, которые часто закреплялись за целыми деревнями, фамилии на -енко изначально были индивидуальными прозвищами. Предок носителя фамилии Костэнко мог быть простым земледельцем или ремесленником, которого в документах записали по отцу: «Косте́нко» — то есть Костин сын. Со временем прозвище закрепилось за родом и перешло в наследственную фамилию.

Географически фамилия Костэнко тяготеет к левобережной Украине, особенно к Полтавской и Черниговской губерниям, где фамилии на -енко особенно часты. Встречается она и в смежных регионах России — в Курской и Белгородской областях, куда украинские переселенцы приносили свои фамилии в XVIII–XIX веках. Написание через «э» может указывать на конкретную местную традицию записи, например, в метрических книгах, где писарь старался точно передать звучание.

Отдельного внимания заслуживает редкость такой орфографии. В современных базах данных фамилия Костэнко встречается в десятки раз реже, чем стандартное Косте́нко. Это не ошибка, а скорее маркер: носители с таким написанием, вероятно, происходят из семей, где фамилию записывали «на слух» в условиях, когда не было единой орфографической нормы. Возможно, предки жили на стыке языковых границ, где смешивались украинское произношение и русское письмо.