Фамилия Костомина — женская форма, а её мужской вариант, Костомин, образован по простой и распространённой модели: к основе добавили суффикс -ин. Этот суффикс в русских фамилиях указывает на принадлежность: «чей?» — «Костомин» значит «сын или потомок Костомы». Всё упирается в прозвище или имя Костома.

Корень здесь, скорее всего, связан с именем Константин. В народной речи это имя сокращали до Костя, Костюк, Костома. Суффикс -ома в прозвищах и неканонических именах — не редкость для северных и центральных говоров. Костомой могли назвать человека, который носил имя Константин, но в обиходе звучало как Костома. Альтернативная версия отсылает к слову «костома» — в некоторых диалектах так называли крупную кость или костяной предмет. Тогда прозвище мог получить костлявый, высокий человек либо косторез.

География фамилии подсказывает, что её ядро — Поволжье и северо-восток России. В архивных записях XVII–XVIII веков Костомины встречаются среди крестьян и посадских людей Вятки, Костромы и Архангельской губернии. Это указывает на бытовое, недворянское происхождение: фамилия закрепилась в среде, где люди получали прозвища по внешности или уменьшительным формам имени.

Интересная деталь: фамилия Костомина (и Костомин) не так частотна, как однокоренные Костылев, Костин или Костюков. Редкий суффикс -ома делает её более локальной и старой по модели образования. Если ваш предок — Костома, он жил, скорее всего, в северной или вятской деревне, и его либо звали Константином в бытовой форме, либо дразнили за костистость.