Фамилия Костакой — редкий случай, когда написание почти полностью совпадает с произношением, но происхождение при этом неочевидно. Первое, что бросается в глаза: окончание -ой, а не привычное русское -ов или -ин. Это сразу указывает на то, что фамилия не типично великорусская, а скорее украинская, белорусская или польская по модели образования. В украинском и польском языках прилагательные в мужском роде часто оканчиваются на -ий, -ый, -ой (сравните: Шевченко — форма без изменений, но Костакой — это полное прилагательное, застывшее в именительном падеже).

Основа «Костак» или «Костак» может быть вариантом личного имени Константин в его уменьшительной форме. В южнорусских и украинских говорах Константина нередко называли Костем, а производное «Костак» — это уже ласкательный или полуофициальный вариант, как Иван — Ивашко, Петр — Петрак. Суффикс -ак характерен для украинских фамилий, образованных от крестильных имен: Бондак (от Богдан), Стецюк (от Степан), Костак — от Костя. Тогда фамилия Костакой буквально означает «принадлежащий Костаку» или «сын Костака», то есть потомок человека по имени Костак.

Есть и вторая, менее вероятная, версия. В польском языке слово «kostka» означает «кубик» или «кость», а также «лодыжка». Фамилия могла возникнуть как прозвище человека с какой-то характерной чертой — например, невысокого, коренастого («кубик»), или того, кто ходил вразвалку, задевая ногами. Но в этом случае ожидалось бы написание Костак (без -ой) или Костацкий. Форма Костакой с окончанием прилагательного сильнее привязывает фамилию к восточнославянской модели, где -ой — это просто фонетический вариант -ый после твердого согласного (как Толстой, Благой). Поэтому версия с именем Константин выглядит предпочтительнее.

Географически фамилия встречается в основном на западе Украины, в частности в Волынской и Ровенской областях, а также среди потомков переселенцев в Сибири и на Дальнем Востоке. В России она крайне редка и не входит в списки распространенных фамилий. Это значит, что большинство носителей Костакой — потомки одной или нескольких семей, которые сохранили исходное написание без русификации.

Социальный контекст: фамилии на -ак, -ук, -юк в украинской традиции часто принадлежали крестьянам и казакам, реже — мещанам. Дворянских родов с такой фамилией не зафиксировано. Так что предки носителя фамилии Костакой, скорее всего, были свободными сельскими жителями, чье прозвище или отчество просто закрепилось в документах и дошло до наших дней в почти неизменном виде.