Фамилия Костышин — прозвищная по происхождению, и её основа указывает не на внешность или характер, а скорее на занятие. В народе прозвище Костыша давали заядлому игроку в кости или в бабки, а иногда — мошеннику, который промышлял именно этой игрой. Позже слово перешло и на страстных картёжников: по аналогии с костяными игральными кубиками Костышей стали называть любого азартного игрока. Корень здесь — «кость», так что прозвище напрямую связано с предметом игры.

Менее вероятна версия, что фамилия восходит к крестильному имени Константин (от греческого «стойкий, постоянный»). В этом случае Костыш — одна из производных, уменьшительных форм имени, вроде Кости или Костяши. Однако такой вариант менее убедителен: прозвищная модель объясняет фамилию проще и естественнее, без натяжек на редкую форму имени.

Суффикс -ин в фамилии Костышин указывает на принадлежность: «чей?» — Костышин, то есть сын или потомок Костыши. По такой же модели образованы десятки тысяч русских фамилий, и это один из самых распространённых способов закрепить прозвище в роду.

Точное место и время возникновения фамилии установить сложно: процесс закрепления прозвищ шёл веками, и Костышины могли появиться в разных регионах независимо друг от друга. Но сам факт, что прозвище сохранилось в фамилии, говорит о том, что предок носителя был заметен в своей среде — если не удачей в игре, то хотя бы репутацией завзятого игрока.