Фамилия Костышкина — это женская форма, а её основа — мужская фамилия Костышкин. Она относится к самому распространённому в России типу фамилий на -ин, которые образуются от имён и прозвищ, оканчивающихся на -а или -я. В основе лежит прозвище Костышка, а оно, в свою очередь, восходит к слову «костыль».

Тут интересна не столько география (фамилия встречается в разных регионах, но без ярко выраженного «гнезда»), сколько разброс значений исходного слова. Костыль — это не только палка для хромого, но и, в диалектах, упрямый, несговорчивый человек («стоит как костыль»), а также высокий и худой («длинный, как костыль»). В некоторых говорах «костылём» называли колышек для подвязки растений или приспособление в ткацком станке. Поэтому предок мог получить прозвище по внешности, по характеру или по роду занятий — например, плотник, который делал такие колышки, или ткач.

Суффикс -ышк- в прозвище Костышка придаёт уменьшительный или, скорее, пренебрежительный оттенок. Это не просто Костыль, а «маленький костыль» или «костыльчик» — возможно, так дразнили подростка или невысокого мужчину с тем же упрямым нравом. Модель образования типична для русских фамилий XVI–XVII веков: сначала прозвище, потом отчество в притяжательной форме («чей сын?» — Костышкин), которое закрепилось как фамилия.

В отличие, скажем, от фамилии Костылёв (от той же основы, но с другим суффиксом), форма Костышкин встречается заметно реже. Это указывает на то, что прозвище было локальным, а не общерусским. В словаре Веселовского «Ономастикон» подобные формы не фиксируются, что говорит о бытовом, а не служилом происхождении носителей — скорее всего, крестьянском или посадском.