Фамилия Костяный — редкий случай, когда сразу видно, что перед нами не столько наследственное родовое имя, сколько прозвище, застывшее в прилагательном. В отличие от подавляющего большинства русских фамилий, образованных с помощью суффиксов принадлежности (-ов, -ев, -ин), здесь использован суффикс -ян(ой), который указывает на признак, свойство или материал. В говорах и старом языке «костяной» значило «сделанный из кости», «крепкий, как кость» или «относящийся к кости». Человек, получивший такое прозвище, мог быть либо косторезом — мастером, выделывавшим гребни, пуговицы, рукояти ножей из кости, — либо обладателем какой-то бросающейся в глаза физической особенности: очень худой, костлявый, жилистый. В некоторых диалектах «костяный» говорили о человеке с крупными суставами или о том, кто «костью широк», то есть крепкого сложения.

Интересно, что форма на -яный, а не на -яной, встречается в южнорусских и украинских говорах, где ударение смещалось, а окончание могло редуцироваться. В официальных документах XVIII–XIX веков фамилия могла записываться как Костяной, но в быту закрепился более краткий вариант. Если обратиться к ономастическим словарям, например, к работе Б. Унбегауна «Русские фамилии», то модель на -яный встречается реже, чем на -ов, и чаще связана с прозвищами, а не с отчествами. Это значит, что предок носителя фамилии, скорее всего, не был сыном Кости (от имени Константин), а сам носил характерное прозвище — Костяный.

Сравнение с однокоренными фамилиями проясняет картину. Фамилии Костин, Костюков, Костенко — все они ведут родословную от имени Константин или его производных. Костяный стоит особняком: здесь основа не имя, а прилагательное, описывающее качество или занятие. Географически фамилия тяготеет к югу России, к Курской, Воронежской, Ростовской областям, а также к Украине, где суффикс -ян- в фамилиях (Гуляный, Соломяный) встречается чаще. Если ваши предки были из этих мест, велика вероятность, что прозвище закрепилось за ремесленником-косторезом — в XVIII–XIX веках в южных губерниях существовали целые артели, работавшие с рогом и костью. Впрочем, не исключён и более простой вариант: прозвище дали за внешность, и оно перешло в фамилию без изменений, минуя типовые суффиксы.