Фамилия Костышин происходит от прозвища или неканонического имени Костыша. В основе лежит слово «кость»: так могли прозвать заядлого игрока в кости или бабки, а также мошенника, промышлявшего такой игрой. Позже это прозвище закрепилось и за страстными картежниками. Впрочем, есть и другая версия: Костыша — одна из производных, народных форм имени Константин (от греческого «стойкий, постоянный»). Суффикс -ин указывает на принадлежность: Костышин буквально означает «сын Костыши» или «из семьи Костыши».

Фамилия характерна для западнорусских и украинских земель, где суффикс -ин нередко присоединялся к основам на -а. Встречается она и в польской ономастике, но с другим окончанием — Kostyszyn. В русском языке фамилия закрепилась в форме Костышин.

С точки зрения словообразования это типичная «патронимическая» фамилия: она отвечает на вопрос «чей?» и называет потомка человека по имени Костыша. Если верна версия с именем Константин, то Костышин — дальний родственник более частых фамилий Костин, Константинов, но с уникальным суффиксом, сохранившим именно эту уменьшительную форму. Если же верна версия с прозвищем, то предок носителя фамилии был известен не именем, а страстью к азартным играм.