Фамилия Хармацкий произошла от аббревиатуры «хатан Раби Мойше Цви», что в переводе на русский язык означает «зять рава Мойже Цви». Эта фамилия впервые встречается в документах из Двинска. Менее вероятно, что фамилия Хармацкий образована от прозвища Харма, которое ведет свое начало от диалектного глагола «хармовать» - «осуждать, порицать». Вероятно, прозвище отражало особенности характера и поведение основателя фамилии (укоризненность, критичность). Существует гипотеза, по которой основой для прозвища послужило финское слово «harmaa» - «серый, седой». В таком случае Хармой могли именовать нелюдимого, заурядного человека, либо того, кто носил серую одежду или имел седые волосы. Например, только у евреев можно было встретить такие фамилии, как Вейценбаум, что в переводе с немецкого означало «пшеничное дерево», Зауэрштром – «кислый поток», Левенфиш – «рыба-лев», Цигенбаум – «козье дерево», Квечман – «высказываться неохотно».