Фамилия Косторной — редкий пример, где прозвище перешло в фамилию без типичного суффикса, по модели краткого прилагательного (как Толстой, Босой). Её основа восходит к двум разным, но одинаково ярким прозвищам.

Первая версия связывает Косторного с ремеслом. В основе — слово «костерь» (или «костра»): так называли жёсткую кору стеблей льна и конопли, которую вычёсывали после трепания. Косторным могли прозвать мастера, который обрабатывал лён, — прядильщика или того, кто мял тресту. В переносном смысле прозвище закреплялось за человеком жёстким, неуступчивым, «колючим» по характеру.

Вторая версия — игровая. В русских говорах «кости» означали не только игральные кубики, но и бабки (надкопытные суставы животных), в которые резались с азартом. Косторной — тот, кто постоянно играет в кости, бабки, а позже, по аналогии, и заядлый картёжник. В словаре Даля зафиксировано слово «костырничать» — промышлять игрой в кости, жульничать. Так что прозвище могло иметь и оттенок «мошенник, шулер».

Обе версии равноправны, и понять, какая точнее, без истории конкретного рода невозможно. Но есть косвенная подсказка: фамилия Косторной встречается в основном на юге России и в украинских землях, где прядение льна было менее распространено, чем в северных областях. Поэтому игровая версия для этих регионов выглядит чуть правдоподобнее.

С точки зрения модели образования, Косторной — типичная «отпрозвищная» фамилия, усечённая до чистого прилагательного. Её родственники по смыслу — Костриков, Костерев, Костин, но они образованы с помощью суффиксов, а Косторной сохранил исходную форму прозвища.