Фамилия Гершензон — это классическая ашкеназская фамилия, построенная по модели «личное имя отца + формант, обозначающий родство». В немецком написании она выглядит как Gerschensohn, и это прямо подсказывает читателю её состав. Первая часть, «Гершен», — это вариант библейского имени Гершон (Гершом). В Танахе так звали старшего сына Левия и внука Яакова. Этимология имени восходит к корню «герш», что значит «изгнанный», «чужеземец». Вторая часть, «зон», — это немецкое Sohn, то есть «сын». Вместе Гершензон означает «сын Гершона».

Такая модель образования фамилий была типична для евреев-ашкеназов, живших в Германии, Австрии и Восточной Европе. Формант -зон (или -сон) — один из самых распространённых в этой среде. Кроме него, ашкеназские фамилии нередко оформлялись суффиксами -ман («человек», «муж»), -кинд («ребёнок»), -бейн («кость»), -штам («ствол») или просто -ер. В Израиле же у многих еврейских фамилий можно встретить ивритские показатели принадлежности: приставку бен- («сын»), артикль Га- или окончания -и и -ес.

Если сравнивать Гершензон с однокоренными фамилиями — например, с Гершоном, Гершони или Гершковичем, — то видно, что разница только в способе обозначения родства. Гершензон — это буквальный перевод на немецкий, тогда как Гершкович использует славянский суффикс -ович, а Гершони — ивритский. Так что носитель фамилии Гершензон, скорее всего, происходил из семьи, где говорили на идише, но жили в немецкоязычной среде, и фамилию зафиксировали именно в таком виде.