Фамилия Кощая — редкая и неочевидная с точки зрения происхождения. В ней нет привычного суффикса -ов или -ин, поэтому её не стоит путать с патронимическими фамилиями, образованными от имени отца. Скорее всего, перед нами прозвищная фамилия, застывшая в форме родительного или именительного падежа, что характерно для украинской, белорусской или южнорусской традиции.

Самая прямая версия отсылает к слову «кощей» (или «кащей»). В древнерусском языке «кощей» означал не столько сказочного злодея, сколько человека тощего, худого, измождённого — от «кость». Второе значение — пленник, раб, слуга (из тюркского «кошчи» — «погонщик», «шатровой»). Таким образом, прозвище Кощей могли дать либо за внешность (худой, костлявый), либо за социальное положение (человек, прислуживающий в походе, обозный). Фамилия Кощая могла закрепиться за потомком такого человека.

Менее вероятная, но возможная версия — связь с диалектным «кощей» в значении «скупой», «скряга». В некоторых говорах этим словом называли бережливого хозяина, почти что Кощея из сказки, охраняющего богатство. Но здесь важно не перепутать народную этимологию с реальной историей: сказочный образ Кощея Бессмертного — литературная переработка, а не прямое отражение прозвища.

Суффикс -я в окончании (Кощая) типичен для украинских фамилий, где он выполняет роль, схожую с русским -а: Зозуля, Паливода, Непийпиво. Фамилия склоняется как существительное женского рода, хотя носитель — мужчина. Встречается она в основном в западных и южных регионах бывшей Российской империи, но точных статистических данных по распространению нет — фамилия остаётся штучной.

Если сравнивать с однокоренными, то известна фамилия Кощеев (русская, с суффиксом -ев), а также Кощенко (украинская). Кощая стоит особняком: она не говорит о принадлежности к роду Кощея (как Кощеев), а прямо наследует прозвище в исходной форме. Это указывает на то, что предок носителя, скорее всего, сам был прозван Кощеем, а не происходил от человека с таким именем.