Фамилия Костыря происходит от прозвища — а прозвища на Руси давали не случайно. Слово «костыря» в старых говорах имело несколько значений, и все они бьют в одну точку: человек с непростым характером. Чаще всего Костырей называли бранчливого, сварливого, упрямого человека, сквернослова — того, кто постоянно лезет в ссору. Но была и другая, более неожиданная линия: позже по аналогии Костырей стали именовать страстного картежника. То есть прозвище могло прилипнуть и к заядлому игроку, который, вероятно, не отходил от стола до последнего.

Словообразовательная модель здесь простая: прозвище Костыря перешло в фамилию напрямую, без суффикса. Такие «прозвищные» фамилии — явление нередкое для южных и западных регионов России, а также для Украины и Белоруссии. В них сама основа уже несла полную характеристику человека, поэтому добавлять -ов или -ин не было нужды. Если бы фамилия оформлялась через суффикс, мы бы получили Костырёв или Костырин — такие варианты тоже встречаются, но реже.

Корень «костыр-» этимологически родствен слову «костер» (в значении «остов, скелет») и «костыль» — палка для хромого. В переносном смысле «костыря» мог означать человека «колючего», неудобного в общении, того, кто «торчит как костыль». Эта связь с упрямством и неуживчивостью подтверждается диалектными словарями: в рязанских, курских и воронежских говорах «костыря» — именно сварливый человек.

Географически фамилия тяготеет к южнорусским и украинским территориям. Встречается она нечасто, но стабильно — в основном в бывших казачьих областях, где прозвища были особенно живучи и часто обходились без формальных суффиксов. Социальный контекст тоже понятен: никакого отношения к дворянству или духовенству фамилия не имеет, её носители — крестьяне, ремесленники, казаки. Прозвище давали не по профессии, а по характеру, и оно закреплялось за родом, если человек был заметен в своей общине.

В ономастических трудах фамилия не получила обширного разбора, но её механизм прозрачен: основа — прозвище, модель — бессуффиксная, значение — «скандалист» или «отчаянный игрок». Споров между версиями нет: обе рабочие, и обе укладываются в логику народной речи.