Фамилия Костельна — редкий пример фамилии, образованной от названия профессии через прилагательное женского рода. В её основе лежит слово «костель» — так в южных и западных регионах России, а также на Украине называли мастера по изготовлению костей (гребней, пуговиц, шахматных фигур) или резчика по кости. В некоторых говорах «костель» означало и того, кто собирал кости для переработки. Суффикс -на — это усечённая форма притяжательного прилагательного, характерная для украинской и польской ономастики: в полном виде фамилия звучала бы как «Костельна жена» или «Костельного рода», то есть «принадлежащая Костелю». Со временем окончание застыло, и фамилия перестала склоняться.

Географически фамилия тяготеет к западу: чаще всего её можно встретить в Хмельницкой, Тернопольской и Львовской областях Украины, а также среди потомков переселенцев в Краснодарском крае и Крыму. В русских переписных книгах XVII–XVIII веков подобные формы почти не встречаются — это говорит о том, что фамилия сложилась поздно, уже после закрепления крепостного права, когда фамилии давали по прозвищу или занятию главы семьи.

Интересно, что параллельно существует фамилия Костёльный (с ударением на ё) — от названия католического храма (костёла). Но Костельна с ударением на первый слог (Кóстельна) не имеет отношения к религии: это чисто профессиональное прозвище. Если бы основа была от «костёл», форма была бы «Костельская» или «Костёльная» — с ударением на ё. Так что предок носителя фамилии Костельна был, скорее всего, ремесленником-косторезом, а не церковным служителем.

В дореволюционных метрических книгах фамилия могла записываться как Костельна, Костельная, а в польском варианте — Kościelna (с другим значением). После 1917 года написание унифицировали, и сегодня в русскоязычных документах закрепилась форма Костельна.