Фамилия Хабенскии — редкий случай, когда написание расходится с привычным произношением. На слух она звучит как Хабенский, и именно в таком виде — с окончанием -ский — её чаще всего можно встретить в документах. Но форма на -ии выдает старую, дореволюционную орфографию: до реформы 1918 года прилагательные в именительном падеже мужского рода писались через -ый, -ий (Хабенский, но в церковнославянском и в некоторых фамилиях дворянского происхождения закрепилось -iй). Так что Хабенскии — это архаичный вариант, который сохранился, скорее всего, в эмигрантской среде или в семьях, где за написанием следили особенно строго.

Основа фамилии — прозвище Хабеня или Хабен. Его корень, скорее всего, не славянский. Вероятнее всего, это адаптация немецкой фамилии Haben или Haber. В немецком haben — «иметь», но как прозвище это маловероятно. Куда правдоподобнее связь с Haber — «овёс». В таком случае Хабеня — это русифицированная форма немецкого прозвища, которое давали либо крестьянину, торговавшему овсом, либо человеку с соломенными, светлыми волосами (овсяного цвета). Есть и другая версия: от литовского или латышского слова, означающего «хлеб» (лит. duona, латыш. maize — не подходят, но есть диалектные формы вроде *khaba). Однако немецкое происхождение для фамилий на -ский, особенно в западных губерниях Российской империи, — самое частое объяснение.

Суффикс -ский указывает на то, что фамилия образована по модели, характерной для польской и украинской шляхты, а также для русского духовенства. Носители фамилии Хабенскии (и Хабенские) — это, скорее всего, потомки мелкопоместной шляхты из западных областей (Беларусь, Литва, Польша) или, реже, выходцы из духовного сословия, которым давали фамилии по названиям церквей или по прозвищам семинаристов. Но в данном случае «шляхетский» суффикс прикрепили к немецкому корню — типичная история для регионов, где смешивались немецкие колонисты, поляки и русские.

Фамилия Хабенскии (Хабенский) не имеет отношения к актёру Константину Хабенскому — его фамилия происходит от той же основы, но её написание (через -ий) стало общеупотребительным после реформы 1918 года. Ваш вариант — более старый, книжный. Если ваши предки писались именно так, они, вероятно, принадлежали к образованному слою, где дотошно соблюдали дореволюционные правила, либо фамилия была записана в метрических книгах в такой форме и осталась неизменной.