Возможно, фамилия Ольман ведет свое начало от слов oll – «старый», «неприятный; уродливый; злой» и Mann – «человек». Таким образом, она могла указывать на внешние особенности предка. Однако существует и другая гипотеза, согласно которой первая часть фамилии восходит к слову Öl – «масло». В этом случае основатель рода Ольман мог продавать масло на рынке.