Фамилия Кавицкая — женская форма, а её мужской вариант — Кавицкий. Эта фамилия почти наверняка имеет польские или западнорусские корни. На это указывает суффикс -цк(ий), который в польской и украинской традиции часто оформлял фамилии шляхты и мещан, образованные от названий местности. В русской среде такие фамилии на -ский тоже встречались, но чаще у духовенства или выходцев из Речи Посполитой.

Основа «Кавиц-» восходит к топониму. В Польше и на западе современной Беларуси есть несколько мест с похожими названиями: деревни Кавице (Kawice) в Нижнесилезском и Люблинском воеводствах, а также Кавичин (Kawiczyn). Человек, переселившийся оттуда, получал прозвание «Кавицкий» — то есть «тот, кто из Кавиц». Иногда фамилию связывали с польским словом kawa (кофе) — теоретически, прозвище мог дать любитель или торговец этим напитком, но версия с географическим названием выглядит убедительнее: таких «местных» фамилий в польской ономастике тысячи.

В Российской империи фамилия Кавицкий встречалась в губерниях, граничивших с польскими землями: Виленской, Гродненской, Минской, а также среди переселенцев в Сибири. Носители могли быть как обедневшей шляхтой, так и крестьянами — суффикс не гарантировал дворянства, а лишь указывал на происхождение из определённой местности. Встречается также вариант Кавецкий — это результат диалектного смягчения или описки в документах.

Есть и редкое, но возможное объяснение: фамилия могла возникнуть от имени Кавка, Кава — сокращённых форм крестильных имён вроде Касьян или Капитон, с последующим добавлением -ицкий. Однако для польского ареала это нетипично: там предпочитали образовывать фамилии от названий деревень, а не от личных имён. Поэтому основная версия — топонимическая.