Прозвище Харц восходит, вероятно, к польскому слову harcowac – «резвиться, шалить». Видимо, оно указывало на характер: скорее всего, родоначальник Харцовых был очень подвижным человеком. Согласно другой версии, в основе этой фамилии лежит украинское слово «харциз» - «разбойник, грабитель». Однако так могли называть не только человека, занимавшегося разбоем, но и того, кто имел вспыльчивый, драчливый характер. Таким образом, потомок человека, обладающего прозвищем Харц, со временем получил фамилию Харцова.