Фамилия Устыменко — редкий случай, когда с первого взгляда понятна и основа, и суффикс, но с происхождением всё равно не всё гладко. Типичная украинская модель на -енко (указывает на потомка, «чей-то сын») здесь сочетается с основой «Устым-», которая в современном языке не встречается. Разберёмся, что это могло значить.

Самая прямая версия — что перед нами фонетический вариант имени Устим. Имя Устим — народная форма от канонического Иустин (от латинского «justus» — справедливый). В украинской среде звук «и» в начале слова мог редуцироваться или заменяться на «ы» под влиянием говоров, а «м» на конце — распространённое окончание для кратких форм (ср. Максим вместо Максимилиан). Тогда Устыменко — «сын Устыма» или «потомок Устыма». Фамилия образована от крестильного имени, что типично для восточнославянских фамилий, но здесь интересна именно форма: не Устименко, а с твёрдым «ы» — это указывает на южнорусские или восточноукраинские говоры, где «и» после твёрдых согласных переходило в «ы».

Есть и альтернативная версия, хотя менее вероятная. В некоторых говорах слово «устыть» или «устынуть» означало «остыть, застыть». Прозвище Устыма могли дать человеку с холодным, спокойным нравом. Однако эта гипотеза слабая: глагол редок в антропонимии, и для прозвища обычно брали более употребительные корни. Имя Устим встречается в метрических книгах XVII–XIX веков на Левобережной Украине, так что церковное происхождение надёжнее.

По суффиксу -енко сразу видна региональная привязка: такие фамилии массово формировались в центральных и восточных областях Украины (Полтавщина, Черниговщина, Слобожанщина) и у выходцев оттуда. Устыменко — не дворянская и не казацкая старши́нная фамилия (там преобладали модели на -ский или -ович), а скорее крестьянская или мещанская. В ревизских сказках XIX века подобные фамилии встречались среди государственных крестьян и казаков второй очереди.

Сравните с однокоренными: Устименко (более распространённый вариант), Устимов, Устинович. Устыменко — его диалектный «двойник», который закрепился в письменности и не был исправлен на литературный лад. Такие варианты ценны для лингвистов: они сохраняют живую народную фонетику.

Итог: фамилия Устыменко означает «потомок Устыма», а Устыма — это народная форма имени Иустин (справедливый). Её носители, скорее всего, происходят из украинских губерний, где в ходу были твёрдые варианты имён, и принадлежали к податным сословиям — крестьянам или казакам.