Фамилия Костяной — редкий пример, где в основе лежит не имя или географическое название, а прилагательное «костяной», то есть «сделанный из кости». Такая модель образования (полное прилагательное в роли фамилии) встречается в русской ономастике нечасто, и это сразу выделяет фамилию из ряда типичных «-ов» и «-ин».

Самый прямой путь к происхождению — профессиональное прозвище. Костяным могли называть мастера-костореза, который вырезал из кости гребни, пуговицы, шахматные фигурки, нательные крестики или амулеты. На Руси косторезное ремесло было распространено в Холмогорах, Тобольске, Москве, и прозвище по роду занятий могло закрепиться за целой династией. Менее вероятна, но тоже возможна версия, что прозвище дали худому, костлявому человеку — по аналогии с тем, как называли «кожа да кости». Однако в пользу ремесленной гипотезы говорит сам суффикс: притяжательные фамилии обычно образуются от существительных (Костя — Костин), а здесь мы видим прямое прилагательное, которое скорее описывает продукт труда, чем внешность.

С географической привязкой сложно: фамилия Костяной не входит в массовые списки, не образует гнёзд в конкретных уездах. По данным современных справочников, она встречается рассеянно — на юге России, в Сибири, единично в центральных областях. Это типично для фамилий, возникших из прозвищ, а не из отчеств: они хуже поддаются картографированию.

Если сравнивать с однокоренными фамилиями, Костяной стоит особняком. Есть Костяев (от имени Костяй), Костин (от Костя), Костерин (от костерь — жёсткая кора льна). А Костяной — единственная в этой группе, образованная от прилагательного с предметным значением. Это косвенно подтверждает, что её носитель был связан с костью как материалом, а не с личным именем или внешностью.