Фамилия Кошлая — редкий пример, где окончание -ая указывает не на женский род, а на форму именительного падежа прилагательного в мужском роде. Такое оформление свойственно южнорусским и украинским фамилиям (сравните: Белая, Толстая, Широкая), которые застыли в форме полного прилагательного и не склоняются как типичные фамилии на -ов/-ин. Поэтому «Кошлая» — это исходная, а не «женская» версия; мужчина с такой фамилией тоже Кошлая, а не Кошлый.

Основа фамилии — прилагательное «кошлый». В русских говорах у этого слова несколько значений, и все они связаны с характером или поведением. В псковских и тверских диалектах «кошлый» означает «суетливый», «беспокойный», «непоседливый». В воронежских и рязанских — «привередливый», «капризный», «брезгливый». Есть и более редкое значение — «сварливый», «склонный к ссорам». Таким образом, прозвище Кошлый давали человеку с непростым нравом: либо слишком активному и хлопотливому, либо чересчур разборчивому и ворчливому.

Суффикса -л- в данном случае не словообразовательный (как в фамилиях от профессий), а входит в основу прилагательного. Модель образования проста: от качественного прилагательного «кошлый» через субстантивацию (переход в разряд существительных) возникло прозвище, которое затем закрепилось как фамилия. В документах XVII–XVIII веков такие «прозвищные» фамилии часто фиксировались именно в форме прилагательного: Кошлой, Кошлая, Кошлые.

Географически фамилия тяготеет к югу России и Украине. Встречается в Курской, Белгородской, Воронежской областях, а также на Кубани и в украинских чернозёмных регионах. Это согласуется с диалектной зоной бытования слова «кошлый» в значении «привередливый» — именно южнорусские говоры дают такую семантику.

Сравните с однокоренными фамилиями: Кошлов (от той же основы, но с суффиксом -ов), Кошлаков (от «кошлак» — заросший, лохматый человек), Кошлин (от «кошля» — кашель, либо от диалектного «кошляться» — медлить). «Кошлая» стоит особняком из-за своей грамматической формы — она сохранила архаичное окончание, которое в русской фамильной системе почти вытеснено моделями на -ов/-ин. Это делает фамилию ценной для лингвиста: она — живое свидетельство того, как в XV–XVII веках фиксировали прозвища в южных уездах, не переделывая их под московский стандарт.