Фамилия Костеренко образована по типичной для украинского и южнорусского регионов модели — от прозвища с помощью суффикса -енко. Этот суффикс в XVI–XVII веках означал «сын» или «потомок» (Костеренко — сын Костеря), а позже закрепился как фамильный, особенно на Левобережной Украине и в слобожанских землях.

Основа «Костерь» или «Костер» — не от костра как огня, а от диалектного слова «костерь» (или «костра»). В говорах так называли жёсткую часть стебля конопли, льна или другого прядильного растения — то, что остаётся после трепания и вычёсывания волокна. Человек мог получить прозвище Костерь за внешнюю сухость, худобу, колючий характер или за род занятий — обработку льна и конопли. В некоторых областях «костерём» называли ворчливого, сварливого старика.

Вторая возможная, но менее распространённая версия — от имени-прозвища Костеря как варианта крестильного имени Константин (через просторечную форму Костя). Однако суффикс -енко в сочетании с основой Костер- скорее указывает на прозвищную, а не на каноническую основу: форма «Костеренко» естественно выводится из прозвища Костерь, а не из уменьшительного Костеря от Константина.

Фамилия встречается в основном в центральных и восточных областях Украины, а также среди потомков украинских переселенцев на Кубани и в Поволжье. В документах XVII–XVIII веков можно найти казаков с такой фамилией в реестрах Черниговского и Полтавского полков — это подтверждает её сословную принадлежность: в то время -енко было типичным казачьим фамильным окончанием.

В русском написании возможна путаница с фамилией Косторенко, но в основе Костеренко лежит именно «костерь», а не «костер» в значении «огонь». В бытовой речи фамилию иногда связывают с костром, но это народная этимология, не подтверждённая историческими данными.