Фамилия Косторная — нечастая, и её происхождение не лежит на поверхности. Чтобы разобраться, нужно оттолкнуться от прозвища, которое легло в основу. Ономастика предлагает несколько версий, и каждая по-своему интересна.

Первая и самая бытовая гипотеза связывает прозвище Косторный со словом «костерь» — так называли жёсткую, одревесневшую часть стеблей льна и конопли, которая остаётся после трепания. Мастер, который обрабатывал лён и отделял волокно от костри, мог получить прозвище по роду занятий. Но у этого слова есть и переносное значение: «костерь» или «косторный» — человек жёсткий, неуступчивый, «суровый как костерь». Такое прозвище могли дать за характер.

Вторая версия уводит в сторону азартных игр. В русских говорах «косторный» (или «костарный») — заядлый игрок в кости, в бабки. Со временем слово перешло и на картёжников: так называли человека, который промышлял игрой, а иногда и мошенничал за столом. Эта версия правдоподобна, потому что в фамилиях часто закрепляются прозвища по поведению или занятию, даже если занятие было не самым почётным.

Редкий для фамилии суффикс -н- указывает на то, что прозвище Косторный было прилагательным, отвечающим на вопрос «какой?». Такие прозвища легко становились фамилиями без дополнительных суффиксов, особенно в среде крестьянства и посадских людей. Именно поэтому фамилия Косторный не получила типичного окончания -ов или -ин, а осталась в краткой, усечённой форме.

Иногда фамилию пытаются вывести из личного имени Костор — одной из производных форм имени Константин (от латинского «стойкий, постоянный»). Это возможно, но менее вероятно: прозвищная основа «костор» в значении «игрок» или «костерь» встречается в исторических документах чаще, чем самостоятельное имя Костор.

Таким образом, наиболее вероятно, что первый носитель фамилии Косторный был либо ремесленником, работавшим со льном, либо человеком с крутым нравом, либо — что особенно колоритно — завсегдатаем костяных и карточных игр.