Фамилия Костышкин образована от прозвища или мирского имени Костышка. Суффикс -ин указывает на принадлежность: «сын Костышки». Чаще всего такие фамилии возникали в среде, где отчество на -ин было нормой, — в северных и центральных губерниях России, а также в Поволжье.

Значение прозвища неоднозначно. Самая прямая версия: Костышка — уменьшительное от «кость». Так в народе могли прозвать очень худого, костлявого человека. Однако не исключено, что прозвище относилось к ремеслу. Костышкой называли мастера, работающего с костью: резчика по кости, изготовителя гребней, пуговиц или накладок. В русских говорах «костыш» — это и костяной предмет, и костяной шарик для игры. Отсюда третья версия: Костышка — заядлый игрок в кости. Игра была распространена на Руси, и страсть к ней могла закрепиться за человеком как постоянное прозвище.

Есть и четвёртое объяснение, которое часто упускают. Костышка — одна из народных форм крестильного имени Константин (греч. «стойкий, постоянный»). Наряду с Костышей, Костей и Костыгой эта форма бытовала в деревнях. Имя Константин давали в честь святого Константина Синадского, проповедника и мученика. Если фамилия восходит к каноническому имени, то она — отчество второго порядка, а не прозвище по внешности или занятию.

Из всех гипотез самая правдоподобная — связь с ремеслом или игрой, потому что в основе лежит конкретное нарицательное слово «костыш», а не просто сокращение имени. Но однозначно выбрать одну версию мешает омонимия: «костыш» в говорах обозначало и костяное изделие, и игральную кость, и худого человека. Фамилия Костышкин могла возникнуть в разных семьях по разным причинам — это не редкость для русских фамилий на -ин.

Фамилия редкая. Основной ареал — центральные области России, единичные записи встречаются в Тверской и Костромской губерниях. В дворянских родословных книгах не отмечена, что указывает на крестьянское или мещанское происхождение большинства носителей.