Фамилия Костарной — редкий случай, когда написание подсказывает происхождение точнее, чем звучание. Ударение, скорее всего, падает на последний слог: Костарнóй. Именно форма на -ой (а не на -ый или -ий) выдает в ней типичную русскую фамилию, образованную от прилагательного. Такие фамилии часто носили люди, чье прозвище или занятие описывало их в быту: Толстой, Кривой, Молодой.

Основа здесь — «костарной». Это диалектное или искаженное произношение слова «костырной», то есть относящийся к костырю. В старых говорах «костырь» означало не только трость для хромого, но и — гораздо чаще — негодяя, плута, мошенника или картежного шулера. В словаре Даля «костырничать» значит плутовать, а «костырь» — это и хромой, и обманщик. Фамилия, таким образом, могла закрепиться за человеком с хитрым, изворотливым характером, либо за тем, кто промышлял нечестной игрой.

Есть, однако, и вторая, более прозаичная версия. В южнорусских и украинских говорах «костар» (или «костыр») — это костяной гребень для чесания льна или шерсти, а также игральная кость. Ремесленник, делавший такие гребни или точивший костяные изделия, мог получить прозвище Костарной. Так что предок мог быть и косторезом, и мастером по обработке рога.

С точки зрения географии, фамилия тяготеет к югу России и Украине. В дореволюционных записях она встречается в Курской, Воронежской губерниях и на Кубани. Суффикса -ов или -ин здесь нет — фамилия застыла в форме краткого прилагательного, что для крестьянской среды было нормой: Костарной буквально значило «тот, кого прозвали Костарным».

В современном русском языке фамилия выглядит архаично. Ее носителю стоит помнить, что за неблагозвучным корнем «костырь» (плут) стоит не столько оскорбление, сколько живая народная речь, где прозвище часто давали «от противного» или по занятию. А версия с костяным гребнем — редкий случай, когда фамилия могла сохранить память о забытом ремесле.