Фамилия Костомаркин — редкий случай, когда прозвище, лёгшее в основу, сохранилось почти без изменений, но при этом его происхождение неочевидно. Корень здесь — «костомара» или «костомар». Первое, что приходит на ум, — связь с «костью» и «марать» (пачкать). Однако в русских говорах слово «костомара» имело и более конкретное значение: так могли называть человека, который занимался добычей или переработкой костей, например, для изготовления костяного клея, пуговиц или удобрений. Это ремесло было грязным, отсюда и вторая часть прозвища — «марать». Таким образом, предок Костомаркиных был, скорее всего, костоломом или костоправом в прямом, ремесленном смысле, а не в медицинском.

Суффикс -кин указывает на принадлежность: «чей?» — Костомаркин, то есть сын или потомок Костомары. Это типичная модель для русских фамилий, образованных от прозвищ с уменьшительно-уничижительным оттенком или просто указывающих на занятие. В отличие от фамилий на -ов/-ев, которые часто образовывались от полных канонических имён (Иванов, Петров), суффикс -ин и его вариант -кин в простонародной среде чаще цеплялся за прозвища (Пушкин — от Пушка, Бородин — от Борода).

Географически фамилия Костомаркин тяготеет к южнорусским и поволжским областям — там, где были развиты кустарные промыслы по переработке животного сырья. Встречается она нечасто, что подтверждает её узкопрофессиональное происхождение: не в каждой деревне был свой костомара. Если отбросить ремесленную версию, остаётся маловероятная гипотеза о том, что прозвище дали человеку с болезненно худым телом («кожа да кости», которые он «марает»), но она слабее: прозвища по внешности обычно образовывались от более ярких признаков (Горбун, Косой), а «костомара» — это именно действие, занятие.

Однокоренных фамилий немного: Костомаров (с тем же корнем, но с другим суффиксом) встречается чаще, а Костомаркин — его более редкий «сыновний» вариант. В некоторых говорах слово «костомара» могло означать и скупого, прижимистого человека («из кости сок выжмет»), но это уже вторичное, переносное значение.