Фамилия Костиов — относительно редкий вариант на фоне привычных Костин, Костюков или Костевич. Её главная особенность — в суффиксе. В русской модели фамилий суффикс -ов обычно прикрепляется к основе, оканчивающейся на согласный: Иванов, Петров. Но здесь основа «Кости» переходит в «Кости-ов», а не в «Костин», как было бы логично от имени Костя. Почему так?

Скорее всего, перед нами не русская, а украинская, белорусская или польская модель образования. В этих языках фамилии на -ов нередко возникали от прозвищ или имён, где конечный гласный основы сохранялся, а суффикс присоединялся напрямую. Например, от прозвища Костий (или Кость) — человека костистого, худого, либо от имени Константин в его краткой форме Костий. В украинском языке фамилии типа Костів, Костив (белорусское Костов) при русификации могли записать как Костиов — с буквой «и» перед суффиксом, чтобы сохранить произношение.

Вторая версия — фамилия могла возникнуть от топонима. В Польше и на Западной Украине есть несколько населённых пунктов с корнем Кост- (например, Костюв). Житель такого села получал прозвище Костиовский, которое со временем могло сократиться до Костиов. Но это менее вероятно: фамилии на чистый -ов от географических названий в этой зоне встречаются реже, чем на -ский.

Социальный контекст: носители фамилии Костиов, скорее всего, происходят из крестьян или мещан западнорусских губерний, где в XIX веке активно шла унификация фамилий по русскому образцу. Писарь мог записать Костив как Костиов, подгоняя под привычную схему. Если вы встретили эту фамилию в современных российских архивах, велика вероятность, что предки родом из Белоруссии или Украины — там она встречается чаще, чем в центральной России.

Сравните с однокоренными: Костин — от Кости (русское), Костюков — от Костюка (украинское), а Костиов — как раз промежуточный вариант, сохранивший следы местного произношения.