Фамилия Гершман — составная, и её стоит разбирать по частям. Первая основа, «Герш», восходит к древнееврейскому библейскому имени Неффалим (ивр. Нафтали). Это имя носил один из сыновей Иакова, родоначальник колена Неффалимова. Позже, в среде ашкеназских евреев, имя трансформировалось в идише до формы Hersch (Герш). Вторая часть, «ман», происходит от немецкого слова Mann — «муж, мужчина». Таким образом, модель образования типична для ашкеназских фамилий: личное имя плюс формант, обозначающий человека.

Исторический контекст имени Неффалим добавляет фамилии глубины. Согласно библейскому повествованию, колено Неффалимово после завоевания Земли Обетованной заняло самую северную часть её территории. Из-за своего положения оно первым подвергалось иноземным влияниям и при нашествии ассирийцев стало их жертвой. Эта географическая и историческая привязка — редкая деталь, которая редко встречается в статьях об этой фамилии: носитель имени как бы наследует не только имя, но и память о древнем уделе.

Фамилия Гершман — не единственная в своём роде. В ашкеназской ономастике есть целый ряд фамилий, построенных по той же схеме: Берман (от Бер — медведь), Зальцман (от Зальц — соль), Либерман (от Либ — любовь). Но в случае с Гершман основа не нарицательная, а именная, что роднит её с фамилиями вроде Абрамман или Ицкович. Встречаются и варианты написания, например, Гершманн с удвоенной «н» на немецкий манер, но в русской традиции закрепилась форма с одной буквой.

Искать носителей фамилии стоит прежде всего среди еврейских общин Восточной Европы — Польши, Украины, Белоруссии, откуда в конце XIX — начале XX века шла основная миграция в Америку и Палестину. В России фамилия также встречается, но реже, и чаще всего у потомков тех, кто переехал в советское время из западных регионов.