Фамилия Хвостенок — яркий пример восточнославянской модели фамилий на -ок/-енок, которая в XVI–XVII веках была особенно характерна для белорусских и украинских земель. Суффикс -енок (или -ёнок) в этой модели означал «сын такого-то» или «маленький, молодой»: Хвостенок — буквально «сын Хвоста» или «маленький Хвост». Основа тут — прозвище Хвост, одно из самых распространённых в древнерусской антропонимии.

Прозвище Хвост могло возникнуть по разным причинам. Самая очевидная — внешняя: человек с длинным хвостом одежды (например, у шута или боярина), либо тот, кто постоянно таскался за кем-то, «хвостом». В словаре древнерусских прозвищ Веселовского упоминается реальный исторический персонаж — боярин Иван Хвост, живший в XIV веке. Но чаще прозвище давали за характер: «хвостом» называли назойливого, неотвязного человека или, наоборот, того, кто любил «вилять хвостом» — льстить и хитрить. В польском и белорусском языках слово «chwost» означало ещё и метлу, так что не исключён и ремесленный подтекст — прозвище мог получить метельщик или тот, кто делал мётлы.

Географически фамилия Хвостенок сегодня встречается преимущественно в Беларуси (особенно в Минской и Гродненской областях) и на западе России, в Смоленщине и Брянщине — это как раз ареал белорусского влияния на фамилии. В украинских переписях XVII века фиксируются формы Хвостенко (с суффиксом -енко), а Хвостенок — более северный, белорусский вариант. В России фамилия редкая и не попала в списки дворянских родов: скорее всего, предки носителя были крестьянами или мещанами, получившими фамилию при закреплении в XIX веке.

Интересно, что в отличие от фамилий Хвостов (типичная русская модель на -ов) или Хвостенко (украинская), форма Хвостенок сохранила именно уменьшительно-патронимический суффикс, который подчёркивает не просто принадлежность к роду, а молодость или младшее положение предка. То есть первый Хвостенок был, скорее всего, сыном человека по прозвищу Хвост, а не его внуком или правнуком — это фамилия «второго поколения», что в ономастике встречается реже, чем привычные -ов или -ин.