Фамилия Костей не подчиняется привычной схеме «основа + суффикс принадлежности» (как, например, Костин или Костеев). Её форма — чистый родительный падеж множественного числа, что сразу указывает на происхождение: перед нами фамилия, образованная от прозвища Костей. Такая модель встречается реже, чем патронимы на -ов или -ин, и характерна для прозвищ, которые закрепились за родом без дополнительных суффиксов.

Само прозвище Костей имеет два основных объяснения. Первое — внешнее: так могли называть очень худого, измождённого болезнью человека, у которого, что называется, «кожа да кости». Второе — звуковое и смысловое совпадение с именем Константин. В народной речи имя Константин нередко сокращали до Костя, а форма Костей могла возникнуть как вариант этого сокращения, но с иным окончанием. Имя Константин имеет греческое происхождение и переводится как «стойкий, постоянный». Если фамилия восходит напрямую к имени, то предок носителя, скорее всего, был просто Константином, а его потомков записали как «Костей» — то есть «из семьи Кости».

Спор между «прозвищной» и «именной» версиями решается в пользу первой, но с оговоркой. Фамилии типа Костей обычно фиксируются в южнорусских и украинских говорах, где форма родительного падежа множественного числа для обозначения рода — явление более распространённое. Если бы фамилия была просто патронимом от Константина, мы бы чаще встречали Костин или Костеев. Форма Костей указывает на то, что прозвище Костей успело закрепиться как самостоятельное родовое имя до того, как его записали в официальные документы.

География фамилии тоже подсказывает, что версия с прозвищем правдоподобнее. Фамилия Костей встречается в основном на западе России и в Беларуси, где прозвища, описывающие внешность, были особенно живучи. В отличие от фамилий, образованных от крестильных имён, которые часто «размываются» по всей территории, прозвище Костей сохраняет локальный оттенок.

Таким образом, в основе фамилии Костей лежит либо прозвище худого человека, либо народная форма имени Константин. Оба варианта ведут к одному выводу: предок носителя этой фамилии был либо заметно худым, либо носил имя, которое в быту звучало как Костей.