Фамилия Кустерская — яркий пример «географической» фамилии, образованной по модели, характерной для польской, украинской и белорусской шляхты, а также для русского духовенства. Суффикс -ск- указывает на связь с местом: такую фамилию получал либо владелец поместья, либо выходец из населённого пункта с названием Кустер, Кустеры или Кустерово. Вероятнее всего, основа восходит к слову «куст» — заросли, густая поросль. В славянской топонимике такие названия давали селениям, возникшим среди кустарников или на месте вырубленного леса.

Женская форма Кустерская говорит о том, что исходная мужская фамилия — Кустерский. В дворянской среде и среди духовенства фамилии на -ский/-цкий были маркером статуса: они указывали на владение землёй или на происхождение из определённой местности. Если предок был священником, фамилию часто давали по названию села или церковного прихода — например, от села Кустеры где-нибудь на Волыни или в Поднепровье.

Менее вероятна, но возможна версия от прозвища Кустера — человека, который «кустится», то есть прячется, скрывается или, наоборот, работает с кустарником (например, плетёт корзины из лозы). Однако суффикс -ск- в этой фамилии почти не оставляет сомнений: перед нами именно топонимическая модель, а не прозвищная.

В дореволюционных метрических книгах фамилия встречается преимущественно в западных губерниях Российской империи — Могилёвской, Витебской, Киевской, а также среди переселенцев в Сибирь. В современной России Кустерские — редкость, носители сосредоточены в основном в центральных областях и на юге Урала. Однокоренные фамилии — Кустеров, Кустеренко, Кустерский — подтверждают, что основа «куст-» активно использовалась в ономастике.