Фамилия Костяние образована от прозвища Костяной. В основе лежит прилагательное «костяной» — «сделанный из кости». Скорее всего, прозвище указывало на род занятий: предок мог быть косторезом, мастером по изготовлению гребней, пуговиц, амулетов и других изделий из кости. Такое ремесло было распространено на Руси, особенно в северных регионах, где существовали целые промысловые слободы косторезов.

Вероятна и другая версия: Костяным могли прозвать очень худого, костлявого человека. В народе такие прозвища давали по внешнему признаку, и со временем они закреплялись за потомками.

Фамилия Костяние — редкий вариант. Обычно такие фамилии оформлялись суффиксами -ов, -ев, -ин (Костянов, Костяной). Окончание -ие встречается реже и может указывать на украинское или белорусское происхождение либо на позднюю адаптацию фамилии при записи в документах. Возможно, первоначальная форма была Костяной, а под влиянием местных говоров или канцелярской ошибки закрепилось написание Костяние.

Точное место возникновения фамилии установить сложно: процесс становления фамилий длился несколько столетий, и единичные варианты могли появиться в разных губерниях независимо друг от друга.