Фамилия Ерухимович — пример характерной для восточноевропейских евреев патронимической модели, где суффикс -ович указывает на происхождение от отца. В данном случае основа — производная форма имени Йерохам (или Йерухам). Это библейское имя, которое переводится с иврита как «Бог сжалится» или «Он помилует». Таким образом, Ерухимович буквально означал «сын того, кто носит имя Бог сжалится», то есть сын Ерухима (народного варианта того же имени).

Существует и другая, менее вероятная гипотеза, связывающая фамилию с православным крестильным именем Иерофей (от греч. hieros — «священный» и theos — «бог»). Согласно этой версии, Ерух — народная форма имени Иерофей, от которой и пошла фамилия. Однако в пользу первой версии говорит как типичная для еврейских фамилий суффиксальная модель (-ович, а не, скажем, -ов или -ин), так и распространённость фамилии именно в среде ашкеназских евреев, где имя Йерохам встречалось чаще, чем греческое Иерофей.

Интересно, что фамилия Ерухимович почти не имеет вариантов с другим окончанием — это указывает на её позднее оформление, уже после того, как модель на -ович закрепилась в качестве основной для образования отчеств и фамилий в черте оседлости. Географически фамилия тяготеет к западным губерниям Российской империи — современным Беларуси, Украине и Польше. Встречается она нечасто, что говорит о сравнительно узком круге родоначальников, а не о массовом прозвище.