Фамилия Костеник вписывается в круг украинских, белорусских и южнорусских фамилий с суффиксом -ик. Этот суффикс (как и -ук, -енко, -чук) в восточнославянской ономастике часто указывает на принадлежность к роду: Костеник — «маленький Костя» или «сын Кости». Но в отличие от простого уменьшительного, здесь основа не усеченная, а полная — Костен-, что сближает её с отчествами типа Костенко или Костенков.

Вероятнее всего, фамилия образована от имени Константин (через народную форму Костя) с добавлением суффикса -еник. Такая модель встречается реже, чем стандартное -енко, и характерна для западных регионов — Волыни, Подолья, Гродненщины. В польском влиянии суффикс -ik давал такие же формы: Kostennik, Kostnik. Поэтому предок-носитель фамилии мог быть из тех мест, где пересекались украинский и польский языковые миры.

Менее вероятная, но возможная версия — от прозвища Костеник, связанного с ремеслом. В диалектах «костеник» иногда называли того, кто обрабатывал кость (костореза) или собирал кости для переработки. Однако против этой гипотезы говорит то, что профессиональные прозвища в такой форме редки, а суффикс -ик типичен именно для патронимических (по отцу) фамилий.

Фамилия не относится к дворянским или старинным — она крестьянская или мещанская, возникшая в XVIII–XIX веках, когда фамилии массово закреплялись за простыми людьми. Встречается она неравномерно: в современной России чаще на юге (Краснодарский край, Ростовская область), что совпадает с переселенческими потоками с Украины. В самой Украине — рассеяна по центральным и западным областям.

Однокоренные фамилии — Костенко, Костюк, Костин, Костенков. Костеник стоит особняком: он не так массивен, как Костенко, и не так прозрачен, как Костин. Именно редкость и региональная привязка делают его ценным маркером для генеалогического поиска — если ваши предки Костеники, скорее всего, их корни лежат в западнорусских или украинских землях, в среде, где имя Константин было распространено, а суффиксальная система сохраняла архаичные черты.