Фамилия Костоян — редкий пример, где славянская словообразовательная форма накладывается на иноязычную, скорее всего, греческую или румынскую основу. Если не знать этого, можно ошибочно принять её за типичную русскую фамилию с суффиксом -ян, но здесь работает другая модель. Суффикс -ан (а не -ян) в русских фамилиях встречается редко и обычно указывает на украинское или белорусское происхождение, однако в данном случае он, вероятно, является русифицированным окончанием греческой фамилии.

Скорее всего, в основе лежит греческое имя или прозвище Коста, Костос — краткая форма от Константинос (Константин). В греческом языке фамилии часто оканчивались на -опулос, -идис, -акос, но при переселении в славянскую среду их могли адаптировать, добавляя типичное окончание -ов, -ев или, как здесь, -ян. Однако фамилия пишется через «о» — Костоян, а не Костаян, что указывает на возможное происхождение от формы Коста с последующим присоединением суффикса -ян, который в армянском языке означает принадлежность («из рода Коста»). Но армянский вариант обычно звучал бы как Костаян, с ударением на последний слог. Русская огласовка Костоян с ударением на второй слог — признак того, что фамилия обрусела.

Есть и другая, менее вероятная версия: связь с румынским словом «costan» (берег, побережье) или с топонимом Костанда (Констанца). В таком случае фамилия могла указывать на человека, жившего у моря или выходца из этого города.

Географически фамилия Костоян встречается преимущественно на юге России и в Краснодарском крае, где исторически селились греки, армяне и молдаване. Носители могли быть потомками греческих колонистов Причерноморья или армянских переселенцев, чья фамилия со временем изменила звучание. Сословной привязки нет: Костояны могли быть и крестьянами, и мещанами, и казаками.

Таким образом, фамилия Костоян — это, скорее всего, адаптированная в русской среде греческая или армянская фамилия, означающая «потомок Косты» (Константина). Редкий суффикс -ян здесь не армянский, а результат местной фонетической переработки, что и делает эту фамилию непохожей на другие.