Фамилия Гульстен — редкий для русского уха случай, когда фамилия имеет не славянское, а германское или скандинавское происхождение. В основе, скорее всего, лежит голландское слово «hulst» — «падуб» (остролист). Это вечнозеленое дерево с колючими листьями и красными ягодами, хорошо известное в Северной Европе. Фамилию могли дать человеку, жившему в местности, где росло много падубов, или же тому, кто занимался выращиванием этих деревьев.

Вторая версия выводит фамилию из прозвища Хульстен, которое восходит к топониму Hoolsteen. Так называли местечко на границе Дании и северной Германии. В этом случае фамилия указывала на выходца из той местности.

Несмотря на германские корни, фамилия Гульстен заметно чаще встречается в Швеции и Финляндии. В Швеции она закрепилась в форме Gulstén, а в Финляндии — как Hultsten. Такое географическое распределение неслучайно: в XVI–XVII веках шведские короли активно приглашали в страну ремесленников, купцов и горных инженеров из Нидерландов и северной Германии. Многие из них оседали в городах и на рудниках, оставляя свои фамилии в местной ономастике.

Фамилия образована по типичной для германских языков модели: основа (название дерева или места) плюс суффикс -en, который в данном случае может указывать на принадлежность или происхождение. Интересно, что в русской записи фамилия сохранила исходное звучание без адаптации к славянским суффиксам — это говорит о том, что её носители, вероятно, не были выходцами из крестьянской среды, а принадлежали к обрусевшим иностранным родам или потомкам переселенцев.