Фамилия Геренштейн — это классический пример ашкеназской топонимической фамилии, образованной по модели «название города + суффикс -штейн». Вторая часть, «-штейн» (от немецкого Stein — камень), в еврейских фамилиях часто указывала не на профессию камнереза, а служила декоративным элементом, добавлявшим фамилии «благородное» звучание. Первая часть, «Герен», скорее всего, восходит к названию города Герен (Göhren) в Тюрингии или к местечку Герен (Höhr-Grenzhausen) на западе Германии. Существует и версия, что в основе лежит идишское «герен» (גערן) — «амбар» или «овин», но для фамилии на -штейн топонимическое происхождение надёжнее.

Такой тип фамилий — сращение немецкого топонима с формантом -штейн — был особенно распространён в среде еврейского населения Восточной Пруссии и Польши в конце XVIII — начале XIX века, когда власти обязали евреев взять постоянные фамилии. Семьи, переселившиеся из Герена или имевшие с ним торговые связи, могли получить фамилию Геренштейн по месту происхождения. В отличие от более частых фамилий на -берг или -таль, сочетание «Герен+штейн» встречается реже, что делает её хорошим маркером для генеалогического поиска: носители, вероятно, ведут род из небольшого региона в центральной Германии или из западных областей бывшей Пруссии.

В Российской империи фамилия фиксировалась преимущественно в черте оседлости, особенно в Волынской и Подольской губерниях, куда переселялись выходцы из немецких земель. Варианты написания могли меняться: в метрических книгах встречаются формы «Геренштейнъ», «Геренштейнов», а также искажённое «Геренштин». С точки зрения словообразования, фамилия не имеет типичных славянских суффиксов (-ов, -ин, -ский), что сразу указывает на её немецко-еврейское происхождение и позволяет отличить её от фамилий, образованных от прозвищ или профессий внутри восточнославянской среды.