Фамилия Агатенкао не встречается ни в одном из авторитетных словарей русских фамилий (Унбегаун, Никонов, Веселовский), и это сразу подсказывает, что перед нами не исконно русская фамилия. Её звуковой облик — сочетание «нк», конечное «ао» — выбивается из привычных моделей на -ов, -ин или -ский. Скорее всего, это фамилия, пришедшая в русский язык из другого региона, причём сравнительно недавно, возможно, в XX веке.

Разложим слово на части. Основа «Агат» — это либо греческое имя Агат (от agathos — «добрый»), либо название полудрагоценного камня агат. Суффикс «-енк(о)» — типично украинский или южнорусский патронимический формант, означающий «маленький» или «сын». То есть Агатенко — «сын Агата» или «потомок человека по прозвищу Агат». Такая фамилия (Агатенко) действительно существует и встречается на Украине и в южных областях России.

Но у нас — Агатенкао. Лишнее «ао» на конце — это, вероятно, искажение при записи или адаптация к языку, где такое окончание привычно (например, в грузинском, где есть фамилии на -ао, -уа, или в некоторых языках Кавказа). Можно предположить, что исходная форма — Агатенко (или Агатенков), а при миграции носителей в регионы, где фамилии часто заканчиваются на гласный, произошла замена окончания. Либо это результат описки в документах: вместо «Агатенко» записали «Агатенкао», и вариант закрепился.

Таким образом, с высокой вероятностью фамилия Агатенкао — это видоизменённая украинская или южнорусская фамилия Агатенко. Предки носителя могли быть выходцами с территории современной Украины или Черноземья, а их родовое прозвище восходит к имени или камню Агат. Точную географию и сословную принадлежность определить без дополнительных данных невозможно, но сама модель образования указывает на крестьянскую или казачью среду, где патронимы на -енко были массовыми.