Фамилия Гольцев образована от прозвища Голец, которое восходит к нарицательным «голь, голынь» – «бедность, нищета». Следовательно, Гольцом прозвали неимущего человека, бедняка. Согласно другой, менее правдоподобной гипотезе, данная фамилия образована от немецкого слова holz, которое в переводе на русский язык означает «дерево, древесина». В этом случае, предок обладателя этой фамилии был либо плотником, либо лесником. Таким образом, потомок человека, обладающего прозвищем Голец, со временем получил фамилию Гольцев.