Фамилия Ковылин образована от мирского имени Ковыль. В древнерусской традиции такие имена давали по названиям растений, животных или явлений природы. Родители, называя сына Ковылём, верили, что природа примет ребёнка как своего и передаст ему свойства растения — в данном случае ковыля, степной травы, известной своей гибкостью и живучестью. Этот обычай был распространён у славян задолго до появления христианства, и многие фамилии сохранили именно такие дохристианские имена.

Суффикс -ин указывает на принадлежность: Ковылин — сын Ковыля. По этой же модели образованы фамилии от прозвищ и имён, оканчивающихся на -а/-я (Сорокин, Птицын, Репин). В отличие от фамилий на -ов/-ев, которые чаще возникали от имён на согласный или -о, -ин характерен для северных и центральных регионов России.

Есть и вторая версия происхождения — от прозвища Ковыль, связанного с глаголом «ковылять», то есть ходить медленно или прихрамывая. В этом случае прозвище мог получить человек с неуверенной походкой или хромотой. Такая гипотеза менее распространена, но имеет право на существование: глагол «ковылять» известен в русских говорах с XVI века, а прозвища по физическим особенностям давали не реже, чем по растениям.

Однокоренные фамилии — Ковылёв, Ковыльников, Ковылькин — различаются суффиксами, но восходят к той же основе. Фамилия Ковылин встречается в основном в центральной России и Поволжье, что подтверждается данными переписей XIX века. Среди носителей были крестьяне и мещане, но точных сведений о дворянских родах с этой фамилией нет.