Фамилия Гульдинская звучит скорее по-польски или по-белорусски, чем по-великорусски. Ключ к её разгадке — суффикс -ск- (в женском роде -ская). В польской и западнорусской традиции этот суффикс чаще всего указывал на дворянское происхождение или на связь с географическим названием: владелец имения Гульдино или выходец из села Гульдино (Гульда, Гульдин). Мужской вариант фамилии — Гульдинский.

Основа «Гульд-» не имеет прямого значения в русском языке. Скорее всего, она восходит к литовскому или балтскому корню. В литовском языке guldyti означает «класть», «укладывать», а guldytuvės — «постель» или «ложе». Не исключено, что прозвище Гульда дали человеку, который занимался укладкой чего-либо — например, плотнику, укладывающему полы, или работнику на сеновале. Однако более вероятно, что это топонимическая фамилия: в Литве и на территории бывшей Речи Посполитой есть несколько хуторов и урочищ с названием Гульды, Гульдишки. Переселенцы оттуда, получая фамилию по месту выхода, превращались в Гульдинских.

Встречается и версия, что Гульдинская — это вариант фамилии Гольдинская или Гульденская, связанный с немецким Gulden (золотая монета). Но это маловероятно: суффикс -ск- нехарактерен для немецких фамилий, а форма «Гульд-» в славянской среде могла бы быть искажением «Гульд» от имени Гульд (польское прозвище от guld — «золото»), но тогда фамилия звучала бы как Гульдович или Гульдевич.

Таким образом, носитель фамилии Гульдинская с большой долей вероятности имеет предков из западнорусских земель (современная Беларусь, Литва, Подляшье), которые получили фамилию по названию своего поместья или деревни. В дворянских родословных книгах Виленской, Гродненской или Минской губерний эта фамилия могла фиксироваться как Гульдинские герба Лис или Остоя, но это требует проверки по конкретным архивным записям.