Фамилия Хвостенко — редкий случай, когда написание прямо указывает на возможную ошибку или диалектное произношение. На первый взгляд, в ней угадывается основа «хвост» и суффикс -енк(о), типичный для украинских и южнорусских фамилий. Но двойное «н» в середине — «Хвостеннко» — настораживает. В нормативной русской и украинской ономастике такой суффикс не встречается: стандартные формы — Хвостенко (от прозвища Хвост или Хвостень) или, реже, Хвостинко. Скорее всего, перед нами искажение при записи: писарь или сам носитель могли удвоить согласную под влиянием других фамилий (например, Коваленко, но с ошибочным «нн») или из-за нечёткого произношения. Вероятнее всего, правильная историческая форма — Хвостенко.

Основа фамилии прозрачна: «хвост». В восточнославянской традиции прозвище Хвост давали не только за физический недостаток (например, человеку с длинным или необычным хвостом — в переносном смысле, как у животных), но и по поведению. Хвостом в народе называли того, кто постоянно ходит следом, неотвязного просителя, а также льстеца или подхалима. В некоторых говорах «хвост» означал конец, остаток, последнего в очереди или деле. Прозвище могло закрепиться за человеком, который вечно опаздывал, плелся в хвосте обоза или был младшим в семье.

Суффикс -енко в украинской традиции — уменьшительно-патронимический, то есть «сын такого-то». Хвостенко — буквально «сын Хвоста» или «маленький Хвост». Такие фамилии массово формировались в XVI–XVII веках на землях Речи Посполитой, особенно среди казаков и мещан. Если ваш предок носил фамилию Хвостенко (без двойного «н»), он с высокой вероятностью происходил из Левобережной Украины, Слобожанщины или южных уездов России, где этот суффикс был основным способом образования фамилий.

Что касается двойного написания, оно могло закрепиться по случайности: при переписи населения в XIX веке чиновник механически повторил ошибку, и семья так и осталась Хвостеннко. В современных базах данных эта форма встречается крайне редко, и её носители, скорее всего, сосредоточены в одном-двух регионах, где ошибка прижилась. Если вы ищете свои корни, стоит проверить оба варианта — Хвостенко и Хвостеннко — в метрических книгах, поскольку в документах дореволюционного периода написание было неустойчивым.