Фамилия Костельный — одна из тех, что прямо указывают на место службы или жительства предка. Её основа — слово «костёл», которым в Польше, Беларуси, на западе Украины и в приграничных областях России называли католический храм. Человек, живший рядом с костёлом или служивший при нём, мог получить прозвище Костельный. В отличие от фамилий на -ов/-ев, которые образуются от имени или профессии отца, суффикс -ный здесь чисто адъективный, прилагательное превратилось в фамилию без дополнительных патронимических суффиксов — это характерно для западнорусских и польских моделей.

В среде православного духовенства такая фамилия почти не встречается: там преобладали «церковные» (Успенский, Рождественский) или «греческие» (Афинский, Кипарисов). Костельный, скорее всего, принадлежал либо католическому клиру, либо крестьянам и мещанам, жившим на землях, где костёл был главным ориентиром. В Речи Посполитой и позднее, в западных губерниях Российской империи, фамилии на -ный часто давали по названию усадьбы, хутора или постоялого двора — так Костельный мог закрепиться за целым родом, жившим при одноимённом фольварке.

Менее вероятная, но возможная версия — от древнерусского «кость» или «костель» (кость, остов). В этом случае прозвище дали бы сутулому, худому или угловатому человеку. Но географическая привязка фамилии к западнорусским и польским территориям делает храмовую версию основной.

В словаре Б. Унбегауна «Русские фамилии» модель на -ный рассматривается как характерная для польской и украинской ономастики, часто связанная с названиями мест. Фамилия Костельный — живой пример того, как религиозная архитектура стала родовым именем.