Фамилия Бутаенко образована по распространённой в украинской ономастике модели с суффиксом -енко, который в XVI–XVII веках указывал на потомка по отцу («чей сын»). Основа фамилии — прозвище Бутай, и здесь есть несколько возможных объяснений, ни одно из которых не стоит отбрасывать безоговорочно.

Самая прямая версия связывает Бутая с украинским словом «бута» — спесь, пренебрежение, высокомерие. В таком случае прозвище получал гордый, заносчивый человек, который «держал буту». Однако у слова были и другие оттенки: в псковских говорах «бутать» означало шуметь, стучать, распугивая рыбу (скорее всего, это заимствование из финно-угорской лексики), а в калужских — шить. Вряд ли эти значения напрямую пересекаются с украинским прозвищем, но полностью исключать их нельзя — носители фамилии могли переселиться из великорусских областей на юг.

Третья версия выводит Бутая из тюркских языков, где «бутак» или «бутай» означает ветку, сук. Прозвище могли дать человеку высокому, худому или, наоборот, коренастому, похожему на суковатое дерево. Эта гипотеза правдоподобна для южнорусских и украинских степных регионов, где контакты с тюркским населением были постоянными.

Фамилия Бутаенко закрепилась как наследственная в среде казачества и крестьян Левобережной Украины. Суффикс -енко типичен для Полтавщины, Черниговщины и Слобожанщины. Если сравнивать с однокоренными фамилиями (Бутаев, Бутаков, Буташ), то именно Бутаенко — самая «украинская» по форме, без великорусских суффиксов -ов или -ин.

Спор между версиями разрешить непросто: все три корня (украинский, диалектный русский, тюркский) фонетически дают одну и ту же форму Бутай. Но поскольку фамилия распространена именно в украинской среде, первая версия — от «бути» (спесь) — выглядит предпочтительнее. Тюркский вариант тоже возможен, но он скорее дал бы фамилию Бутаенко через форму Бутай, а не напрямую.