Фамилия Коткая — редкий случай в русской ономастике, где прилагательное в женском роде застыло в качестве фамилии. В норме русские фамилии на -ой/-ый (Толстой, Кривой) склоняются по мужскому роду, а женские оканчиваются на -ая. Но здесь мы видим форму «Коткая», которая исторически могла быть прозвищем или прилагательным, закрепившимся за женщиной, либо — что вероятнее — это застывшая форма женского рода от прозвища «Коткой».

Основа фамилии — «котк-». В русских говорах слово «коткий» имело несколько значений. В северных и сибирских диалектах «коткий» означало «короткий», «сжатый», «куцый». Прозвище Коткой могли дать человеку невысокого роста, с короткой шеей или даже с резкой, отрывистой речью. В других областях «коткий» связывали с глаголом «котить» — катать, валять, и тогда прозвище могло относиться к мастеру-валяльщику или тому, кто катал бревна, бочки.

Модель образования фамилии нестандартна. Суффикс -к- в основе указывает на уменьшительную или уничижительную форму (ср. «короткий» — «коткий»), а окончание -ая — на принадлежность к женскому роду. Это не типичная патронимическая фамилия (на -ов/-ин), а адъективная, то есть произошедшая напрямую от прилагательного. Такие фамилии чаще встречались в северных и центральных губерниях России, где прозвища в форме прилагательных иногда переходили в фамилии без изменений.

В географическом плане фамилия Коткая крайне редка. Единичные носители встречаются в Вологодской и Архангельской областях — именно там, где диалектное слово «коткий» было в ходу. В других регионах фамилия могла возникнуть как искажение более распространенной Котков или как результат ошибки писаря при записи.

Сравните с однокоренными фамилиями: Котков (от прозвища Коток — уменьшительное от «кот»), Коткин (от имени Котка). Но Коткая стоит особняком — это не уменьшительное, а качественное прилагательное. Если предок носил прозвище Коткой, то его сын стал бы Котковым, а дочь или жена — Коткой. Со временем форма женского рода закрепилась как самостоятельная фамилия, что нередко случалось с вдовами или дочерьми, чьи мужчины погибали на войне или в ссылке, и фамилия передавалась по женской линии.

Таким образом, Коткая — это фамилия-прозвище, указывающая на внешность, характер или занятие предка, с необычной грамматической историей, застывшая в женском роде.