Фамилия Костыыря — редкая и в своем написании сразу привлекает внимание нехарактерным для русских фамилий удвоенным «ы». Скорее всего, это не русская, а украинская или белорусская фамилия, записанная на слух. В украинском языке суффикс -ыр(я) встречается чаще, чем в русском, и часто образует прозвища от глаголов.

Основа «костыр-» почти наверняка связана со словом «костырь», которое в южнорусских и украинских говорах означало не только трость для ходьбы, но и нечто кривое, изогнутое, а также — в переносном смысле — упрямого, «кривого» человека, который всё делает наперекор. В. И. Даль в своём словаре фиксирует слово «костыря» как прозвище для человека, который ходит с костылём, или для того, кто «костыляет» — бьёт палкой. Но есть и вторая, более выразительная версия: в некоторых диалектах «костырить» означало «браниться», «сквернословить», «ругаться». Соответственно, Костыря — это тот, кто постоянно ворчит, скандалит или язвит.

Фамилия образована по продуктивной украинской модели: основа глагола или существительного плюс суффикс -ыр(я). Сравните: Мазай (мазать) → Мазыря, Крутырь (от крутить). Удвоение «ы» в конце — скорее всего, графическая ошибка или особенность местного произношения (например, в некоторых говорах «ыр» звучит более протяжно). Встречаются однокоренные фамилии: Костыр, Костырко, Костыренко, Костырный.

Географически фамилия Костыыря могла закрепиться на территории современной Украины (особенно в Черниговской или Полтавской областях) или в южных регионах России, куда переселялись украинские крестьяне. Сословная принадлежность носителя, скорее всего, была крестьянской или казачьей: прозвища такого типа давали в среде простых людей за характер или внешность.

Таким образом, предок человека с этой фамилией получил прозвище Костыря за хромоту, за привычку ходить с палкой или же за сварливый, неуживчивый нрав. Второй вариант — бранчливый человек — кажется более правдоподобным, так как такие прозвища давали чаще, чем просто по физическому недостатку.