Фамилия Кавказская звучит необычно для русского уха — слишком явная географическая привязка. Обычно фамилии на -ский/-цкий образовывались от названий мест, где человек жил или владел землей, но в случае с Кавказской есть нюанс: прямой топоним «Кавказ» слишком крупный и общий. Вряд ли крестьянина или дворянина называли по целому горному региону. Скорее всего, в основе лежит не сам Кавказ, а конкретное село или деревня с названием Кавказ, Кавказское или Кавказская — такие населенные пункты действительно существовали в Российской империи, особенно на юге. Например, станица Кавказская на Кубани (ныне город Кропоткин) или село Кавказское в Ставрополье. Житель такого места получал прозвище «кавказский», а его потомки закрепляли фамилию Кавказский/Кавказская.

Суффикс -ск- указывает на принадлежность к чему-то: в данном случае — к местности. Это типичная модель для фамилий, которые давали переселенцам или служилым людям, записанным по месту приписки. Другая версия, менее вероятная, — фамилия могла возникнуть как дворянская, от поместья или хутора с таким названием. Но массово фамилия Кавказская встречается редко, и это косвенно подтверждает её локальное происхождение: её носители — потомки выходцев с конкретной точки на карте, а не всего региона.

Интересно, что мужской вариант — Кавказский — входит в число фамилий, которые склоняются как прилагательные. В женском роде окончание -ая сохраняет эту форму, что типично для русских фамилий на -ский/-ская. В дореволюционных документах могли писать и через «о» — «Кавказовский» (по модели «Ростов — Ростовский»), но закрепился именно прямой вариант. Если ваши предки носили эту фамилию, стоит искать их в метрических книгах станиц и сёл Кубани или Ставрополья — географическая привязка здесь не метафора, а точный адрес.