Фамилия Костенкор — редкий случай в русской ономастике, где славянская основа скрестилась с нерусским суффиксом. Если отбросить окончание, в основе лежит имя или прозвище Костенко. Это уменьшительная форма от Константин (через народное Костя, Костень) или от слова «костень» — крепыш, человек крепкого сложения, «костлявый» в переносном смысле. Суффикс -енко (в украинской традиции) означает «маленький, сын такого-то»: Костенко — сын Кости. Но в фамилии Костенкор к этой основе добавилась часть -ор, которая не характерна для восточнославянских фамилий.

Скорее всего, перед нами искусственное или полуискусственное образование. Вариантов два. Первый: фамилия возникла в среде духовенства — семинаристы нередко перекраивали бытовые фамилии на латинский или греческий манер, чтобы звучало «учёнее». Корень Костен- мог получить окончание -ор по аналогии с латинскими словами вроде «доктор», «профессор». Второй вариант: это результат поздней паспортной записи, когда украинскую фамилию Костенко на слух записали с прибавкой -р (например, из-за говора писаря или ошибочного прочтения). Встречается и такое: в некоторых регионах фамилии на -ор давали переселенцам из других областей, чтобы отличать их от местных.

Географически фамилия Костенкор тяготеет к югу России и Украине, но встречается точечно. В дореволюционных списках её почти нет — это говорит о том, что фамилия либо поздняя (XIX–XX век), либо очень редкая. По сословной принадлежности предки могли быть крестьянами или казаками, получившими фамилию при переписи. Дворянских корней здесь не прослеживается: модель образования слишком проста и нехарактерна для знатных родов.

Таким образом, Костенкор — это, вероятно, «одомашненная» украинская фамилия, которую приспособили под местные нормы письма или придали ей книжный оттенок в семинарской среде. Носитель такой фамилии — потомок человека по имени Константин или прозванного Костенком, а окончание -ор — лишь историческая случайность, придающая фамилии необычное звучание.