Фамилия Кавицкий относится к распространенному типу еврейских фамилий. Так, фамилия Кавицкий образовалась от прозвища Кавиц. Вероятно, восходит к еврейскому слову kowitz, которое произошло от славянского kovač в «значении «кузнец». Таким образом, это прозвище, скорее всего, указывает на род деятельности основателя рода. Предположительно, Кавицом называли кузнеца или его подмастерье. Кузнечное ремесло — одно из древнейших. Из-за опасности возгорания кузнецы обычно поселялись на отшибе, что порождало загадочность. Поэтому кузнецы часто считались шаманами, позже — колдунами, связанными с дьяволом, тёмными силами. Например, только у евреев можно было встретить такие фамилии, как Вейценбаум, что в переводе с немецкого означало «пшеничное дерево», Зауэрштром – «кислый поток», Левенфиш – «рыба-лев», Цигенбаум – «козье дерево», Квечман – «высказываться неохотно». Все это свидетельствует о том, что фамилия Кавицкий представляет собой замечательный памятник европейской письменности и культуры. Однако процесс формирования фамилий был достаточно длительным, поэтому окончательно говорить о точном месте и времени возникновения фамилии Кавицкий можно лишь на основании генеалогических исследований.