Фамилия Хармацкий — редкий пример еврейской фамилии, которая образована не от профессии, места жительства или личного имени, а от аббревиатуры. Расшифровывается она как «хатан Раби Мойше Цви», то есть «зять рава Мойше Цви». Такого рода сокращения — характерная черта ашкеназской ономастики: из первых букв словосочетания, описывающего человека, складывалась новая фамилия, которая закреплялась за его потомками.

Первые документальные упоминания Хармацких встречаются в метрических книгах Двинска (ныне Даугавпилс). Этот город в Витебской губернии был крупным центром еврейской учёности, и появление фамилии именно там согласуется с версией о раввинском происхождении рода. Если основатель фамилии действительно был зятем уважаемого цадика, то его потомки могли носить эту фамилию как знак принадлежности к известной семье.

Существуют и другие, менее правдоподобные версии. Одна из них выводит фамилию от диалектного глагола «хармовать» — «осуждать, порицать». В этом случае прозвище Харма могло характеризовать человека критичного, въедливого, любящего читать нравоучения. Другая гипотеза обращается к финскому слову «harmaa» — «серый, седой». Тогда Хармой называли либо человека с сединой, либо того, кто постоянно носил серую одежду, либо нелюдимого и неприметного. Однако обе эти версии выглядят натянутыми: они не объясняют характерный суффикс «-цкий», который в еврейских фамилиях чаще указывает на географическое происхождение, а не на прозвище, и к тому же не подкреплены документальными свидетельствами.

Сама модель образования фамилии от аббревиатуры — не редкость для еврейской традиции. Подобным образом возникли, например, фамилии Брацлавский или Горовиц, хотя в тех случаях основой служили названия городов. В случае с Хармацкими мы видим более редкий тип — так называемые аббревиатурные фамилии, которые фиксировали родство или статус человека в общине. Иногда такие сокращения расшифровывались как «хавер Раби...» (товарищ рава) или «бен Раби...» (сын рава), что подтверждает: подобная практика была распространена.

Окончательно утверждать, что все носители фамилии Хармацкий происходят от одного предка — зятя Мойше Цви, нельзя. Фамилия могла возникнуть независимо в разных местах, а её носители — не состоять в близком родстве. Генеалогические исследования, работа с архивными документами Двинска и других городов черты оседлости могли бы пролить свет на конкретные линии рода, но пока мы можем говорить лишь о наиболее вероятной версии происхождения.