Фамилия Костяцая — редкая и внешне необычная для русского уха. При первом взгляде кажется, что основа здесь — «кость» или имя «Костя», но на деле всё сложнее. Ключ к фамилии — в её окончании. Форма «-ая» характерна для русских фамилий, образованных от прилагательных: Белая, Толстая, Кривая. Обычно такие фамилии закреплялись за одним человеком и передавались по женской линии или принадлежали целой семье в северных и сибирских говорах, где фамилии на «-их» и «-ых» были нормой, а «-ая» — их вариант.

Корень «Костяц-» почти наверняка восходит к прозвищу Костяк или Костяной. В старину «костяком» называли человека крепкого, худощавого или, напротив, с заметной костью — широкоплечего, крупного. В некоторых говорах «костяный» означало «сухой, жилистый». Менее вероятна, но возможна связь с профессией: костяными изделиями (гребни, пуговицы) занимались косторезы, и прозвище Костяк мог получить мастер этого дела. Имя Костя (Константин) здесь вряд ли первично — от него образовались бы фамилии Костин или Константинов, а не Костяцкий.

Фамилия Костяцая встречается крайне редко, в основном в центральных областях России и на Урале. Это указывает на то, что она не прошла через бюрократическую стандартизацию XIX века, когда большинство крестьянских фамилий получили окончания «-ов» или «-ин». Такая форма сохранилась в среде, где фамилию носили как семейное прозвище, не меняя под канцелярские шаблоны. Если ваши предки носили эту фамилию, скорее всего, они были государственными или вольными крестьянами из северных или поволжских губерний, где прилагательные в роли фамилий держались дольше всего.