Фамилия Косторние, как и её более распространённый вариант Косторной, скорее всего, ведёт начало от прозвища Косторной. В основе лежит украинская или южнорусская модель образования фамилий через суффикс -ой, который в русском литературном языке часто переходил в -ий (Косторной → Косторний → Косторние). Ключ к разгадке — слово «костерь»: так называли жёсткую кору растений, которая остаётся после обработки льна и конопли. Отсюда первая версия: прозвище могли дать мастеру, который занимался прядением или трепал лён, то есть человеку, постоянно имеющему дело с кострой. В переносном смысле «косторным» называли грубого, сурового человека — по ассоциации с жёсткими отходами растения.

Есть и вторая, не менее интересная версия. Слово «костерь» в некоторых говорах связывали с игрой в кости (бабки). Прозвище Косторной мог получить заядлый игрок, шулер или мошенник, промышлявший игрой. Позже, по аналогии, так стали называть и страстных картёжников. Какая из версий правдоподобнее? Первая — ремесленная — выглядит надёжнее, потому что прозвища по профессии давали чаще, чем по игровым пристрастиям. Однако вторая имеет право на существование: в старину игра в кости была распространённым промыслом, и прозвище могло закрепиться за тем, кто жил этим.

Со временем прозвище Косторной вытеснило личное имя и стало наследственной фамилией. Форма Косторние — это, скорее всего, результат адаптации окончания под русскую литературную норму или влияние местного говора, где -ой сменилось на -ие. Точное место и время возникновения определить сложно: процесс становления фамилий на южнорусских и украинских землях был долгим, но ясно, что фамилия эта — памятник живой народной речи, где за бытовым прозвищем стоит целый пласт занятий и характеров.