Фамилия Костянная — редкий пример, когда написание напрямую подсказывает исходную форму. В основе лежит прозвище Костяной, которое, в свою очередь, восходит к прилагательному «костяной» — «сделанный из кости». Такое прозвище могло указывать на профессию: предок мог быть косторезом, мастером по изготовлению гребней, пуговиц, рукоятей ножей или оберегов. В русских деревнях и городах этот промысел был распространён, особенно в северных регионах, где резьба по моржовой кости и рогу давала устойчивый заработок.

Но есть и вторая, бытовая версия. Костяным могли прозвать очень худого, костлявого человека — по внешнему сходству. Такие прозвища по физическим особенностям давали легко и охотно, поэтому исключать этот вариант нельзя. Какая из версий верна для конкретной семьи, без генеалогического исследования не установить.

Обратите внимание на суффиксальную модель. Фамилия образована не через типичные -ов/-ев или -ин, а через суффикс прилагательного -н-, который в полной форме дал окончание -ая. Это характерно для южнорусских и украинских фамилий, а также для фамилий, возникших из прозвищ-прилагательных, которые застыли в форме женского рода. В старых документах встречаются варианты написания: Костяной, Костяная, Костянный — путаница между одной и двумя «н» связана с тем, что фамилия долго не была закреплена орфографически.

В ономастических справочниках фамилия нечастотна. Её нет в масштабных списках боярских или дворянских родов — скорее всего, она крестьянская или мещанская. Сравните с однокоренными: Костин, Косточкин, Костоглодов. Костянная стоит особняком: она не от имени Костя (уменьшительного от Константин), а именно от вещественного или описательного прозвища. Если ваши предки носили эту фамилию, стоит искать в документах южных губерний Российской империи или в среде ремесленников-косторезов.