Фамилия Гольберг — типичный образец немецкой модели сложения двух основ, где первая часть указывает на признак, а вторая — на географический объект. В основе лежат слова «Golem» (призрак, фантом) и «Berg» (гора). Буквально Гольберг переводится как «призрак горы». Вряд ли речь идёт о буквальном привидении: скорее всего, так называли гору, окутанную туманом или облаками, — отсюда и «призрачный» силуэт. Предок-носитель фамилии мог жить у подножия такой горы или получить прозвище по месту, откуда пришёл.

В немецкой ономастике фамилии на -berg (Берг, Гольдберг, Розенберг) очень распространены. Гольберг — более редкий вариант, который встречается в основном у ашкеназских евреев и в немецких землях. В России фамилия могла появиться вместе с переселенцами из Германии или через еврейские общины, где такие «ландшафтные» фамилии часто давали искусственно, по указу о фамилиях конца XVIII — начала XIX века. Иногда первый элемент путают с «Gold» (золото), но в случае Гольберг корень именно «Golem», что делает фамилию необычной даже на фоне соседей по суффиксу.