Скорее всего, фамилия Клевжиц происходит от топонима Клевица: село с таким названием расположено в Ошмянском районе Гродненской области Белоруссии. Появление согласного «ж» в корне фамилии объясняется влиянием польского или литовского языка, где довольно типичным было явление чередований в/вж/вз. Согласно другой гипотезе, фамилия Клевжиц восходит к глаголу «клевать» - «хватать носом, клювом; о птицах есть, бить, щипать клювом». Возможно, Клевжицем прозвали драчуна, забияку или удачливого рыболова. Например, только у евреев можно было встретить такие фамилии, как Вейценбаум, что в переводе с немецкого означало «пшеничное дерево», Зауэрштром – «кислый поток», Левенфиш – «рыба-лев», Цигенбаум – «козье дерево», Квечман – «высказываться неохотно».