Фамилия Кацба — редкий случай, когда географический корень переплетается с тюркским или кавказским языковым субстратом. Её основа — слово «кац» или «кацба» — не имеет прямого соответствия в славянских языках, что сразу указывает на нерусское происхождение.

Скорее всего, фамилия восходит к топониму или этнониму. На Кавказе и в Закавказье встречаются названия населённых пунктов, содержащих компонент «кац» (например, село Кацба в Абхазии). Житель такого места или выходец оттуда получал прозвище Кацба, которое при переходе в фамилию закрепилось без изменений. Финальное «-а» в таких случаях может быть как грузинским окончанием (указывающим на принадлежность), так и адыгским или абхазским суффиксом.

Другая версия связывает фамилию с тюркским словом «кац» — в некоторых диалектах так называли охотничьего сокола или ястреба. Прозвище Кацба могли дать человеку с острым зрением, быстрому или хищному нравом. Но эта гипотеза менее вероятна: на Кавказе и в Закавказье фамилии от названий птиц образуются иначе, обычно с иным суффиксальным оформлением.

Фамилия Кацба — штучная, нечастотная. В метрических книгах XIX — начала XX века она почти не встречается за пределами Черноморского побережья Кавказа и прилегающих областей. Это говорит о том, что носители фамилии сохраняли локальную привязку и не расселялись широко. Сословно предки могли быть как крестьянами, так и мелкими дворянами (в Абхазии и Грузии фамилии на «-ба» часто носили княжеские и дворянские роды), но без генеалогической проверки утверждать это нельзя.

В отличие от многочисленных фамилий на «-ов» и «-ин», Кацба обошлась без русификации — её не переделывали в Кацбов или Кацбин. Это редкий пример, когда исходная форма прозвища или топонима перешла в фамилию без посредников, сохранив первоначальное звучание.