Фамилия Остенко — характерный пример украинской модели фамилии, образованной суффиксом -енко. Этот суффикс в украинской ономастике XVI–XVIII веков означал «сын» или «потомок», то есть Остенко — буквально «сын Оста» или «потомок Оста». В основе лежит сокращённая форма крестильного имени Евстафий — Оста, Остап или Остей. Полное имя Евстафий греческого происхождения (Eustáthios — «устойчивый», «крепко стоящий») было популярно в православной среде, но в быту часто усекалось до коротких вариантов.

В украинской традиции фамилии на -енко сначала закрепились в казацкой среде, а затем распространились по всей территории современной Украины. Поэтому Остенко — скорее всего, фамилия потомка человека по имени Оста, который жил в Поднепровье или на Левобережной Украине в XVII–XVIII веках. В русских говорах подобные фамилии редки, и Остенко почти наверняка указывает на украинские корни рода.

Существует и менее вероятная версия: фамилия могла возникнуть от прозвища Острый или Ость (в значении «колючка», «остриё»), но тогда ожидалась бы форма Острянко или Остинко. Связь с именем Оста выглядит надёжнее, поскольку суффикс -енко в украинских фамилиях почти всегда прикреплялся к личным именам, а не к прозвищам с абстрактным значением.

В документах фамилия встречается с XVIII века, но массово фиксируется в метрических книгах Киевской, Полтавской и Черниговской губерний. Носители Остенко — преимущественно крестьяне и казаки, без ярко выраженного дворянского происхождения. Фамилия не редкая, но и не массовая: по переписям XX века она сосредоточена в центральных и восточных областях Украины, а в России встречается в основном у потомков переселенцев.