Фамилия Косткина — женская форма, а её мужской вариант Косткин. В основе лежит прозвище или уменьшительное имя Костка. Самое прямое объяснение: Костка — это народная, обиходная форма церковного имени Константин (от латинского constans — «твёрдый, постоянный»). Такие сокращения (Константин → Костя → Костка) в русской традиции давали детям в семье, и от этого домашнего имени позже закрепилась фамилия.

Но есть и другие версии, и они не менее интересны. Прозвище Костка могли дать не по имени, а по занятию или внешности. Слово «кость» в старину имело узкое значение: так называли бивни моржа, слоновую кость — ценный материал для резчиков. Мастер, который делал гребни, шкатулки, пуговицы и талисманы из кости, вполне мог получить прозвище Костка. Ремесло было распространённым, особенно в северных губерниях и Поволжье.

Другая бытовая версия: Косткой дразнили страстного игрока в кости или карты. Азартные игры на Руси порицались, но прозвище прилипало крепко. Третье объяснение — чисто внешнее: костлявого, худощавого человека тоже могли окрестить Косткой, без всякой связи с именем или ремеслом.

Фамилия образована по простой модели: основа Костк- + суффикс -ин, указывающий на принадлежность («чей?» — сын Костки). Такие фамилии типичны для северных и центральных областей России. Встречаемость фамилии Косткина невысокая, что говорит о её происхождении от конкретного прозвища, а не от массового имени.