Фамилия Костюха — редкий пример, когда прозвище застыло в документах почти без изменений, минуя типовые суффиксы -ов или -ин. В основе лежит украинское или белорусское имя Костюха, которое является уменьшительно-ласкательной формой от Константин (в народном произношении — Кость, Костя). Суффикс -юха в восточнославянской антропонимии придавал имени оттенок фамильярности или шутливой ласки, как, например, в именах Ванюха, Петюха. Таким образом, первый носитель фамилии, скорее всего, был просто Костей в кругу близких, но прозвище приклеилось настолько прочно, что перешло к детям.

Географически фамилия привязана к западнорусским и южнорусским землям — современным Беларуси, Украине, а также Смоленской и Брянской областям. В этих регионах модель образования фамилий без суффикса (так называемые «усечённые» или «прозвищные» фамилии) встречается чаще, чем в центральной России. Например, в тех же местах бытуют фамилии Гриша, Саша, Вася, образованные по тому же принципу. Костюха — не исключение, это прямая запись прозвища в ревизские сказки или переписные листы.

Версия о происхождении от диалектного слова «костюха» (например, в некоторых говорах так называли костлявого человека или скупого) существует, но менее убедительна. Слово «костюха» в значении «кость» или «скелет» фиксируется в словарях редко и локально, а имя Константин было повсеместно распространено. Кроме того, в пользу именной версии говорит параллель с фамилией Костюк — она образована от того же корня, но с другим уменьшительным суффиксом (-юк), и встречается в тех же регионах гораздо чаще.

Фамилия недворянская, крестьянская или мещанская по происхождению. Сословной истории у неё нет — носители Костюхи не попадали в родословные книги, а оставались в списках сельских обществ. Сегодня фамилия редкая, встречается в основном на Украине и в южных областях России, а также в среде потомков переселенцев в Сибири и на Дальнем Востоке.