Фамилия Костиган — редкая для русской ономастики, и её происхождение не укладывается в привычные модели с суффиксами -ов, -ин или -ский. Скорее всего, перед нами фамилия иноязычная, и разбирать её стоит через географию и фонетику, а не через древнерусские прозвища.

Наиболее вероятная версия — ирландское или шотландское происхождение. В англоязычном мире известна фамилия Costigan, которая восходит к гэльскому Mac Oistigáin — «сын Остигана». Имя Остиган (Oistigán) — уменьшительная форма от Oistín, что является кельтской адаптацией имени Августин (Augustine). Таким образом, исходное значение фамилии — «потомок маленького Августина». В России фамилия Костиган могла появиться через переселенцев, солдат или специалистов, приглашённых на службу в XVIII–XIX веках, и закрепиться в написании, близком к произношению.

Менее убедительна версия о связи с русским именем Костя (Константин). Суффикс -иган не характерен для русской фамильной модели: он не встречается ни в отчествах, ни в прозвищах. Если бы фамилия образовывалась от «Кости», мы бы получили Костин, Костюков, Костяев, но не Костиган. Поэтому версия с ирландским корнем выглядит единственно правдоподобной.

В русском контексте фамилия Костиган сохранила свою «чужеродность» — она не обросла типичными окончаниями и не переоформилась в Костиганов. Это говорит о том, что носители, вероятно, осознавали её иноязычное звучание и не стремились русифицировать. Встречается она в основном в крупных городах и, судя по отсутствию массовости, остаётся штучной, почти уникальной для России.

Если вы ищете предков, стоит обратить внимание на ирландские метрические книги, а также на записи о военных и инженерах на русской службе в XIX веке — именно в этих кругах чаще всего появлялись носители таких фамилий.