Фамилия Хармацкий — редкий случай, когда за основой фамилии стоит не прозвище и не имя, а целая аббревиатура. Её расшифровывают как «хатан Раби Мойше Цви», то есть «зять рава Мойше Цви». Иными словами, родоначальник этой фамилии был женат на дочери уважаемого раввина, и память об этом родстве закрепилась в фамилии. Впервые такая фамилия встречается в документах из Двинска (ныне Даугавпилс), что указывает на регион бытования — западные губернии Российской империи, где было распространено еврейское население.

Аббревиатурный способ образования фамилий — характерная еврейская традиция. Такой приём позволял зашифровать в краткой форме имя учителя, отца или другого значимого родственника. Подобные фамилии нередко выглядели как обычные славянские или немецкие слова, но на деле скрывали в себе целую фразу. Например, у евреев можно было встретить такие фамилии, как Вейценбаум («пшеничное дерево»), Зауэрштром («кислый поток»), Левенфиш («рыба-лев»), Цигенбаум («козье дерево») или Квечман (от глагола «высказываться неохотно»).

Впрочем, есть и менее вероятные версии происхождения. Одна из них выводит фамилию от прозвища Харма, которое связывают с диалектным глаголом «хармовать» — «осуждать, порицать». Тогда прозвище отражало бы особенности характера: укоризненность, критичность, склонность к нравоучениям. Другая гипотеза опирается на финское слово «harmaa» — «серый, седой». В этом случае Хармой могли называть нелюдимого, заурядного человека, либо того, кто носил серую одежду или рано поседел.

Обе альтернативные версии выглядят правдоподобно только на первый взгляд. Финское происхождение маловероятно для фамилии, зафиксированной в еврейской среде Двинска, а диалектный глагол «хармовать» не имеет широкого распространения. Аббревиатурная версия объясняет и необычное звучание фамилии, и её географию, и социальный контекст: фамилия фиксирует родство с уважаемым человеком, что было важно для еврейской общины. Поэтому именно её стоит считать основной.