Фамилия Костелян — редкий случай, когда прозвище, основанное на профессии, сохранилось в почти неизменном виде, но при этом обросло неочевидными смыслами. В основе лежит слово «костель» — так в юго-западных землях (на Украине, в Беларуси, в Польше) называли католический храм. Костеляном, соответственно, могли прозвать человека, имевшего отношение к костёлу: сторожа, звонаря, служку или даже священника. Но есть и второй, бытовой вариант: в некоторых говорах «костеля» — это коса, которой косят траву. Тогда прозвище мог получить косарь или тот, кто точил косы.

Суффикс -ян в фамилии указывает на польское или украинское происхождение. В русской традиции такие фамилии обычно оканчивались бы на -ов или -ин (Костелёв), но форма на -ян закрепилась именно в тех регионах, где влияние польского языка было сильным. Это Волынь, Подолье, Галиция. Фамилия Костелян — типичный пример того, как географическая и культурная граница между католическим и православным миром отразилась в антропонимике: прозвище дали не по ремеслу, а по месту службы или проживания рядом с костёлом.

Стоит отметить, что фамилия не имеет отношения к слову «кость» или «костлявый», хотя такое предположение напрашивается. Русское «костлявый» — от прилагательного, а «костель» — заимствование из польского kościół (церковь). Встречается также вариант написания Костелянн, но он крайне редок и, скорее всего, является результатом канцелярской ошибки при записи.

В дореволюционных метрических книгах фамилия чаще всего фиксировалась у мещан и крестьян западных губерний, реже — у шляхты. Сословной элиты среди Костелян не было: это фамилия людей, чья жизнь была связана с церковной службой или сельским трудом. Сегодня носители фамилии рассеяны по всей территории бывшего СССР, но наибольшая концентрация сохраняется на западе Украины и в приграничных с Польшей районах Беларуси.