Основой фамилии Гершович послужило церковное имя Герш. Фамилия Гершович восходит к древнееврейскому библейскому имени Неффалим. Позже это имя-символ было переведено на идиш — Hersch (Герш). Чередование согласных г/х возникло в результате русификации фамилии. Неффалим (ивр. Нафтали) — один из сыновей Иакова, родоначальник колена Неффалимова. После завоевания Земли Обетованной, это колено заняло самую северную часть её, вследствие чего более других поддавалось иноземным влияниям. При нашествии ассирийцев оно первое стало их жертвой. Менее правдоподобной представляется связь фамилии с польским словом herszt – «главарь, атаман». Таким образом, потомок человека, обладающего именем Герш, со временем получил фамилию Гершович.