Фамилия Коштенко — характерный пример украинской модели фамилий на -енко, которая в XVII—XVIII веках была распространена в среде казачества и крестьянства Левобережной и Слободской Украины. Суффикс -енко в украинской ономастике указывал на «сына» или «потомка», то есть Коштенко — это «сын Коштя» или «потомок Кошти». Основа фамилии — личное имя или прозвище Кошта, которое само по себе требует разбора.

Корень «кошт» в украинском языке имеет два основных значения. Первое — это «стоимость», «цена» или «расходы» (от польского koszt, восходящего к немецкому Kosten). Второе — диалектное «кошт» или «кошть» могло означать «угощение», «трапезу» или «содержание». Прозвище Кошта могли дать человеку бережливому, экономному, либо, наоборот, тому, кто жил на чужом коште (то есть на содержании). Встречается и версия, что Кошта — это народная форма крестильного имени Константин (через Коншта, Кошта), но это менее вероятно, так как для Константина типичнее украинские варианты Кость, Костусь, Костя.

Морфологически фамилия образована напрямую от имени Кошта с помощью патронимического суффикса, без дополнительных вставок. Это говорит о том, что прозвище было достаточно употребительным и не требовало переосмысления. Географически фамилия Коштенко чаще всего встречается в центральных и восточных областях Украины — Полтавской, Черкасской, Сумской, а также в приграничных районах России (Белгородская, Курская области), куда она попала с переселенцами.

В отличие от более распространённых фамилий на -енко с прозрачной основой (Шевченко — от шевца, Пономаренко — от пономаря), Коштенко стоит в ряду фамилий, отражающих не профессию, а хозяйственно-бытовую характеристику человека. Предок носителя фамилии мог быть либо расчётливым хозяином, либо человеком, находившимся на иждивении, — в любом случае прозвище закрепилось за родом и передалось потомкам. В дореволюционных метрических книгах фамилия записывалась без изменений, и лишь изредка встречается вариант Кощенко, который мог возникнуть из-за диалектного смягчения «шт» в «щ».