Фамилия Кощиенко образована по распространённой восточнославянской модели с суффиксом -енко, который в украинской и южнорусской традиции указывал на происхождение: «сын» или «потомок» человека, названного в основе. Основа здесь — прозвище Кощей (в старом написании нередко Кащей). Слово многозначное, и фамилия могла возникнуть из нескольких источников.

В народной среде кощеем называли измождённого, чрезмерно худого человека, особенно старика — эта характеристика бросалась в глаза и легко становилась прозвищем. Но у слова был и другой, социальный смысл: в древнерусском языке «кащей» означало слугу, раба, прислужника. В этом значении прозвище мог получить человек, находившийся в зависимом положении, либо, напротив, тот, кто распоряжался челядью — со временем значение смещалось.

Прозвище Кощей, закрепившись за родоначальником, со временем полностью заменило его личное имя в быту и документах, а затем через патронимический суффикс -енко перешло в наследственную фамилию Кощиенко. Интересно, что написание через о (Кощей, Кощиенко) закрепилось под влиянием литературного образа из сказок, хотя исторически корень звучал через а — Кащей. В письменных источниках XVII–XVIII веков можно встретить оба варианта, что говорит о колебании в произношении и записи.

Фамилия характерна для украинского и южнорусского ареала — именно там суффикс -енко был основным способом образования фамилий. Сравните с однокоренными: Кощеев (русская модель на -ев), Кощин (с суффиксом принадлежности -ин). Кощиенко же прямо указывает на сына Кощея, то есть на прямую связь с носителем прозвища. Сказочный ореол вокруг слова «Кощей» не должен сбивать с толку: в основе фамилии — живое бытовое прозвище, данное по внешности или положению, а не по мифологическому персонажу.