Фамилия Костенок в своей основе имеет имя Костеня — уменьшительную форму крестильного имени Константин. В переводе с латыни Константин означает «твердый, постоянный», так что буквально фамилия отсылает к этому качеству через ласковое домашнее прозвище. Однако это не единственная версия происхождения.

Суффикс -ок в фамилии Костенок — редкий и выразительный. В русской ономастике он чаще встречается в украинской и белорусской среде, где выполняет функцию уменьшительности и одновременно указывает на прямое родство: Костенок буквально значит «маленький Костя» или «сын Кости». Такая модель образования (основа + -ок) типична для фамилий, которые закрепились в западных и юго-западных регионах бывшей Российской империи. В отличие от массовых фамилий на -ов/-ев, Костенок сохранил архаичную форму без патронимического суффикса принадлежности, что делает его особенно интересным для этимолога.

Помимо имени Константин, основа Кость могла быть прозвищем. В народе костью называли клыки моржа или слона — ценный материал для поделок. Мастер, который вырезал из кости гребни, пуговицы, талисманы или шахматные фигурки, вполне мог получить прозвище Кость. Позже, в картежной среде, костью стали называть заядлого игрока — по аналогии с игральными костями. Есть и бытовая версия: костью в деревнях дразнили очень худого, костлявого человека. Какая из гипотез верна для конкретной семьи, уже не установить, но все они рисуют живую картину: предок носителя фамилии Костенок мог быть косторезом, картежником или просто сухощавым мужиком — в любом случае прозвище было ярким и цепким.

Географически фамилия Костенок тяготеет к украинскому Полесью и югу Беларуси, встречается также в приграничных областях России. В документах XIX века носители фамилии записаны преимущественно как крестьяне и мещане. Написание с буквой «ё» в корне (Костёнок) не меняет смысла — это вариант, возникший из-за разного произношения в говорах. В советское время фамилия нередко русифицировалась до Костенков, но исходная форма сохранилась у многих семей.