Фамилия Костырная образована от прозвища Костырный. В его основе лежит слово «костырь», и здесь возможны два значения. По словарю Даля, костырь — это игрок в кости, то есть азартный человек, любитель старинной игры. В рязанских говорах то же слово означало «щепочка», и тогда прозвище могло относиться к плотнику или столяру, работавшему с деревом. Обе версии имеют право на существование, но первая — игровая — встречается в ономастике чаще, поскольку прозвища по склонностям и привычкам давали охотнее, чем по инструменту.

Суффикс -ый в прозвище Костырный указывает на признак: «тот, кто имеет отношение к костырю». Фамилия стоит в женской форме Костырная, что типично для случаев, когда в основе лежит прозвище главы семьи, а носительница — женщина или вдова. В мужском варианте фамилия звучала бы как Костырный, но в документах закрепилась именно женская огласовка, что нередко для южнорусских и украинских фамилий на -ый/-ая.

В отличие от многих прозвищных фамилий, у Костырной нет однозначной географической привязки. Фамилия редкая, встречается точечно — в основном в центральных и южных областях России, а также на Украине. Родственных фамилий, образованных от того же корня, несколько: Костырёв, Костырин, Костырко. Все они восходят к тому же «костырю», но различаются суффиксами, указывающими на разные модели образования: отчество (-ев), принадлежность (-ин) или уменьшительную форму (-ко).

Таким образом, предки Костырной могли быть либо завсегдатаями костяных игр, либо мастерами по дереву. Первая версия кажется более вероятной из-за устойчивой семантики слова «костырь» в древнерусском языке, но окончательный выбор зависит от того, в какой местности и в каком контексте фамилия впервые зафиксирована.