Фамилия Костырной — редкий пример, когда суффикс указывает не на происхождение, а на социальный статус. В русской ономастике окончание -ой в фамилиях (в отличие от более частых -ов, -ин) часто закреплялось за выходцами из южнорусских и украинских земель, а также за однодворцами — особым сословием, сочетавшим черты крестьян и мелких дворян. Фамилия Костырной, скорее всего, и возникла в такой среде: её носитель — «костырный», то есть человек, имеющий отношение к костырю.

Основа фамилии — слово «костырь». В старину у него было два основных значения. Первое, самое прямое — «костыль», палка для опоры при ходьбе. Второе, переносное — «крепкий, упрямый, неуступчивый человек» (от глагола «костырять» — бранить, упрекать, а также делать зазубрины, заусенцы). В некоторых говорах «костырём» называли задиру, спорщика или даже колдуна. Поэтому прозвище Костырь могли дать либо хромому, либо человеку с тяжёлым, сварливым характером.

Модель образования — типичная для русских фамилий на -ой, которые по сути являются застывшей формой прилагательного. Костырной — «тот, кто относится к Костырю»: сын, работник, слуга, а чаще всего — сам носитель прозвища. Подобные фамилии (Кривой, Толстой, Земляной) нередко давались без дополнительных суффиксов, что указывает на их более архаичное происхождение.

В документах фамилия встречается редко, преимущественно в южных регионах России и на Украине. Например, в ревизских сказках XIX века по Курской и Воронежской губерниям фиксируются однодворцы Костырные. Ударение в фамилии, как правило, падает на последний слог — КостырнОй, что тоже характерно для южнорусского ареала.

Таким образом, фамилия Костырной — живая примета южнорусского пограничья, где люди получали прозвища по внешности или нраву, а социальный слой однодворцев сохранял архаичные формы фамилий вплоть до XX века.