Фамилия Кавицкие (в мужском роде — Кавицкий) чаще всего встречается у еврейских семей, и её основа — прозвище Кавиц. Вероятнее всего, оно восходит к еврейскому слову kowitz, которое, в свою очередь, заимствовано из славянского kovač — «кузнец». Так что по роду занятий предок был кузнецом или его подмастерьем.

Кузнечное ремесло — одно из древнейших, и в народной памяти оно окутано ореолом тайны. Кузнецы часто селились на отшибе из-за опасности пожаров, и эта отдалённость порождала слухи: их считали то шаманами, то колдунами, связанными с тёмными силами. Однако для фамилии Кавицкий важен именно профессиональный корень, а не мистический подтекст.

Интересно, что в еврейской ономастике встречаются и совсем необычные фамилии-метафоры: Вейценбаум («пшеничное дерево»), Зауэрштром («кислый поток»), Левенфиш («рыба-лев»), Цигенбаум («козье дерево») или Квечман («высказываться неохотно»). На их фоне Кавицкий — прозрачная и прямолинейная фамилия, указывающая на конкретное ремесло, без иносказаний.

Суффикс -ский в фамилии Кавицкий — типичный для польской и восточноевропейской традиции. Он мог указывать на принадлежность к месту или роду, но в данном случае скорее оформил прозвище в фамилию по модели, распространённой среди евреев, живших на землях Речи Посполитой. Окончательно утверждать точное время и место возникновения фамилии можно только после углублённых генеалогических изысканий, но её ремесленная основа не вызывает сомнений.