Фамилия Храстовская — довольно редкая, и её разбор стоит начать с самого неочевидного: корня. В отличие от множества фамилий на -ский, образованных от названий сёл (Березовский, Горский), основа «Храст-» почти наверняка не топоним, а личное прозвище или профессия.

Самый прямой путь — от слова «храст». В русских говорах, особенно южных и западных, «храстом» называли хворост, сухие ветки, кустарник. Человек по прозвищу Храст мог быть либо хрупким, сухим телосложением (как хворостина), либо заниматься заготовкой или продажей хвороста. Такая модель образования — от названия предмета или материала — типична для простонародных фамилий, которые затем «одворянивались» суффиксом -ский.

Менее вероятная, но возможная версия — связь с польским chrust (хрустеть, ломаться) или чешским chrast (кустарник, заросли). В этом случае фамилия могла прийти с западнорусских земель, где влияние польской ономастики было сильнее. Суффикс -овск-/-евск- в варианте Храстовская указывает на притяжательное значение: «из рода Храста» или «принадлежащий Храсту». Окончание -ая — типично для женской формы фамилии, но как родовое имя могло закрепиться и в мужском варианте (Храстовский).

Географически фамилия тяготеет к регионам, где были распространены говоры с «храстом»: Псковщина, Смоленщина, частично Беларусь. Встречается она и в украинских записях, но редко. Сословно носители, скорее всего, были крестьянами или мещанами — фамилии на -ский у непривилегированных слоёв не редкость, особенно если основа прозрачна и бытовая.

Сравнение с однокоренными фамилиями (Храстов, Храстков, Храстун) показывает, что Храстовская — более «книжная» форма, возникшая, вероятно, при переписи или при переходе в городское сословие, когда фамилию искусственно облагораживали. Никаких известных дворянских родов с такой фамилией не зафиксировано, что подтверждает её народное происхождение.