Фамилия Гольданская — женская форма, а мужская, соответственно, Гольданский. Сразу бросается в глаза её «географический» суффикс -ск-, который в русских фамилиях чаще всего указывает на происхождение от названия места: села, города или местности. В отличие от патронимических фамилий на -ов/-ин, такие фамилии обычно носили дворяне, духовенство или выходцы из определённой местности, а не просто потомки человека по имени.

Основа «Гольдан-» почти наверняка связана с топонимом Гольдау или Гольдан. На карте есть несколько таких пунктов: например, Гольдау — историческое название города в Восточной Пруссии (ныне Голдап в Польше), а также село Гольдан в бывшей Витебской губернии. Фамилия могла закрепиться за переселенцами или ссыльными из этих мест. Есть и более редкая версия — от еврейского местечка Гольда (вариант: Голда) с добавлением славянского суффикса -анск-, что типично для фамилий, возникших на стыке культур, особенно в черте оседлости.

Разберём словообразовательную модель: суффикс -анск- встречается реже, чем просто -ск-, и часто придаёт фамилии оттенок принадлежности к более крупному региону или роду. Если бы фамилия образована напрямую от названия села Гольда, мы бы скорее увидели вариант Гольдинский. Вариант Гольданский может указывать на форму прилагательного от «Гольдань» — так в старых документах иногда называли местность или урочище.

В сословном плане фамилия неоднородна. В XIX веке носители фамилии Гольданский встречаются среди мещан и купцов западных губерний, а также среди православного духовенства, которое часто получало фамилии по названиям приходов или сёл. В любом случае, перед нами фамилия-указатель: предок человека, носившего эту фамилию, с большой вероятностью был «гольданским» — то есть выходцем из места с похожим названием, которое со временем стёрлось с карты или изменило имя.