Фамилия Хрусловская звучит на польский манер, но корни у неё, скорее всего, тульские. В основе лежит название населённого пункта Хруслово, который находился в Тульской губернии. Предок, первым получивший эту фамилию, вероятно, родился или жил в этом селе, а фамилия просто отвечала на вопрос «откуда родом?».

Модель образования здесь классическая для дворянских и шляхетских фамилий: суффикс -ск- указывал на принадлежность к месту, а окончание -ая выдавало женскую форму. Первоначально Хрусловским называли мужчину, а Хрусловская — его жену или дочь, но со временем форма закрепилась за всем родом.

Сам топоним Хруслово, по всей видимости, произошёл от прозвища или имени Хрусло. В основе могло лежать диалектное слово, связанное с хрустом, треском, например, так могли прозвать человека с громким голосом или того, кто ломал хворост. Впрочем, возможна и связь с растением хрен, которое в некоторых говорах называли хруслом.

Письменные следы фамилии уходят в XVI век. В труде историка С. Веселовского упоминается Иван Семенович Хрусловский, 1587 года, из Тулы. Это подтверждает, что род был местным и обосновался в этих краях задолго до того, как фамилии закрепились за большинством крестьянства. Сам факт раннего упоминания говорит о том, что Хрусловские относились к служилым людям или детям боярским, а не к простым землепашцам.

Хотя сегодня фамилия встречается редко, она сохранила память о конкретной местности. Тот, кто носит её сейчас, держит в своей фамилии название исчезнувшего или изменившегося села, а значит, и ниточку к своим тульским предкам.