Фамилия Гертман в русском контексте — почти всегда пришелец, а не коренной житель. Её основа — немецкое слово Herr, что означает «господин» или «хозяин», и Mann — «человек», «мужчина». Вместе они давали значение «господин», «барин», а в более конкретном социальном смысле — «управляющий» или «владелец поместья». В немецком языке это слово (Herr) было титулом, и фамилия могла закрепиться за человеком, который служил управляющим у знатного лица, либо за тем, кого так прозвали за важный вид.

Словообразовательная модель проста: это чистая основа без русских суффиксов. Фамилия не получила окончания -ов или -ин, потому что пришла в русскую среду уже готовой, в немецкой записи. Встречаются варианты написания через «е» — Гертманн (с удвоенной «н»), что ближе к немецкому оригиналу Gertmann. В России двойная «н» часто отпадала при адаптации, поэтому самый частый вариант — с одной «н».

Если искать параллели в других славянских фамилиях, то Гертман стоит в одном ряду с Панковым или Паненко (от «пан»), но с той разницей, что немецкий «герр» никогда не был в обиходе у крестьян. Поэтому носители фамилии — это, скорее всего, потомки немецких колонистов, приглашённых в Россию при Екатерине II, или выходцы из Прибалтики, где немецкое дворянство и бюргерство было многочисленным. Среди русских дворян фамилия почти не встречалась, так как не получила «облагораживающего» суффикса -ский, характерного для польской шляхты.

Есть и редкая, но возможная версия: в некоторых диалектах немецкого «Gert» могло быть сокращением от имени Gerhard (Герхард). В этом случае Гертман — фамилия-патроним, то есть «сын Герта». Однако это предположение менее вероятно, так как в таком случае фамилия чаще писалась бы как Герцман или с суффиксом -сен. Основной массив носителей говорит именно о социальном прозвище, а не о личном имени.