Фамилия Хвоецкая — один из тех случаев, когда основа ясна, а вот точный путь образования требует осторожного разбора. В центре внимания корень «хво-», который в русских говорах и соседних славянских языках имеет два основных значения.

Первое и самое прямое — «хвоя», то есть сосновая или еловая игла, а также ветка такого дерева. Второе, более редкое, — диалектное «хвоя» или «хвояться» в значении «хвастаться», «чваниться». Отсюда прозвище Хвоя или Хвоец — человек хвастливый, заносчивый. В старых псковских и новгородских говорах слово «хвоя» могло означать и сор, мелочь, что тоже могло стать основой для прозвища. Таким образом, предок Хвоецких мог быть либо сборщиком хвои (скажем, для подстилки скоту или растопки), либо человеком с заметной чертой характера — хвастуном.

Суффикс «-ец» в основе Хвоец — типичный для русских прозвищ и фамилий уменьшительно-ласкательный или, наоборот, уничижительный (ср. Молодец, Хитрец, Глупец). А вот окончание «-ская» указывает на дворянский или шляхетский способ образования фамилии. В Российской империи фамилии на «-ский/-цкий» чаще всего носили представители духовенства (семинарские фамилии, образованные от названий храмов или приходов) или польская шляхта. Поэтому наиболее вероятно, что фамилия Хвоецкая — это либо «географическая» фамилия, которую дали по названию имения или местечка Хвоец (такие топонимы встречаются в Беларуси и на западе России), либо искусственная семинарская фамилия, образованная от корня «хвоя» для благозвучия.

Если искать параллели, то ближайшие однокоренные фамилии — Хвоинский, Хвоя, Хвоенко. В отличие от них, форма Хвоецкая — явно женская (или исходная мужская — Хвоецкий). В словаре Б. Унбегауна «Русские фамилии» подобные образования на «-ский» от основ, обозначающих растения, нередки, но корень «хвоя» встречается редко, что делает фамилию довольно самобытной. Скорее всего, носители фамилии происходят из западнорусских или белорусских земель, где бытовали фамилии с такой моделью.