Фамилия Герцберг — сложная, составная, и её происхождение связано с несколькими языковыми и культурными пластами. Первая часть, «Герц», восходит к немецкому слову Herz — «сердце». В еврейской ономастике это слово нередко выступало как прямой перевод библейского имени Лев (Leib, Lev), которое означает «сердце» на иврите. Само имя Лев в свою очередь заменяло каноническое иудейское имя Нафтали — так звали шестого сына праотца Иакова. Таким образом, Герц могло быть не просто прозвищем, а осмысленным переводным именем, которое давали в еврейских семьях. В этом ряду стоят и аналоги в других языках: арабское Lab, испанское Llop, португальское Boujo.

Однако существует и вторая, более прозаичная версия происхождения основы «Герц». Она рассматривает имя Герц (Gertz) как краткую, народную форму немецкого имени Герхард. Оно двукоренное: первая часть gār, gēr означает «копье», вторая hard — «сильный, смелый». В этом случае фамилия теряет «сердечную» символику и приобретает воинственный оттенок, но обе версии имеют право на существование — они сосуществуют в разных семьях.

Вторая часть фамилии, «берг», сомнений не вызывает. Это немецкое Berg — «гора». В составных фамилиях этот компонент часто выполняет роль, близкую к суффиксу, указывая на место: буквально «Сердечная гора» или «Гора Герца». Такая модель словообразования типична для немецких и ашкеназских фамилий, возникших в XVIII–XIX веках.

География фамилии подтверждает её распространение в зонах смешения немецкой и еврейской культур. Например, в Базе данных «Польские спецпереселенцы в Вологодской области» записан еврей Герцберг Мендель Хилевич, родившийся в 1878 году в Макуве (Варшавское воеводство). А Александр Владимирович Герцберг, родившийся в 1892 году в Курляндской губернии, представляет уже балтийскую ветвь. Эти записи показывают, что фамилия была распространена среди еврейского населения как Царства Польского, так и Прибалтики, где немецкий язык долгое время был языком администрации и бытового общения.