Оно ведет свое начало от прилагательного "костяной" - «сделанный из кости». Вероятно, прозвище относится к числу «профессиональных» именований, содержащих указание на деятельность основателя фамилии: он мог заниматься изготовлением и продажей различных изделий, поделок, амулетов из кости. Возможно также, что Костяным прозвали худого человека.