Фамилия Хвосточенко — яркий пример восточноукраинской модели образования фамилий, где суффикс -енко играет роль указателя на родство. Буквально она отвечает на вопрос «чей ты?» — то есть «сын Хвостока». Такой способ именования был особенно распространен на Левобережной Украине и в Поднепровье, где форма с -енко закрепилась как основная фамильная.

В основе фамилии лежит мирское имя или прозвище Хвосток. Его корень — нарицательное «хвост», но смысл мог быть разным. Самая простая версия — прозвище по внешности или особенности поведения: человек с длинными волосами, либо тот, кто постоянно «тянулся хвостом» за кем-то. Второй вариант — так могли в шутку назвать ребенка, который везде следовал за матерью, не отставал ни на шаг. Это бытовое, уличное прозвище, а не церковное имя, и такие имена на Руси давали часто, чтобы защитить ребенка от злых сил или просто по-соседски подметить его привычку.

Исторические параллели подтверждают, что прозвище не было редкостью. В новгородских писцовых книгах 1495 года записан крестьянин Хвост. Известны и бояре Хвостовы — потомки московского боярина Андрея Хвоста, жившего в середине XIV века. Эти примеры показывают, что основа «хвост» использовалась в именованиях давно и в разных сословиях, хотя к самим Хвосточенко прямого отношения не имеет — это лишь доказательство того, что прозвище было в ходу.

Форма Хвосточенко отличается от более привычной русской фамилии Хвостов. Если Хвостов — это притяжательное прилагательное с суффиксом -ов, отвечающее на вопрос «чей сын?», то Хвосточенко — уменьшительная форма имени Хвосток с тем же значением родства. Суффикс -енко указывает на то, что предок носителя фамилии был известен в своей округе именно как Хвосток, а его дети стали писаться Хвосточенками. Встречаются и родственные варианты — Хвостенко, Хвостиченко, — которые возникали из тех же прозвищ, но с разными уменьшительными суффиксами.

Точных сведений о том, где именно впервые зафиксирована фамилия Хвосточенко, в доступных источниках нет. Однако ареал распространения фамилий с -енко — это территория современной Украины, преимущественно ее восточные и центральные области. В России фамилия встречается реже, что объясняется миграциями XVIII–XIX веков, когда украинские крестьяне и казаки переселялись на юг и восток империи.