Фамилия Остроьогильский — редкий случай, когда написание почти наверняка искажено. Вероятнее всего, это вариант фамилии Острогорский (или Острогожский), где буква «ь» возникла из-за неверной записи или диалектного произношения: «г» перешло в мягкое гортанное, которое на письме передали через «ьог». Исходная форма — Острогорский — прозрачна по смыслу и географии.

Основа «Остро-» здесь не связана с остротой, а указывает на топоним Острог — древнерусское укрепление, частокол. Такие названия давали крепостям, а позже — поселениям при них. Вторая часть корня — «гор» (гора) или «гож» (от названия города Острогожск). Фамилия образована по типичной модели для польской и западнорусской шляхты: суффикс -ский указывал на владельца поместья или выходца из места с таким названием. Носитель Остроьогильский (в исходном виде) — потомок человека, чьим родовым имением было село Острогорское или кто родился в Острогожске.

Географически фамилия тяготеет к юго-западу России и востоку Украины — к Черниговщине, Полтавщине, Воронежской области. В этих краях Острогожск — известный город, а фамилии с корнем «Острог-» встречаются в реестрах казацкой старшины и мелкопоместного дворянства. Если ваш предок действительно писался как Остроьогильский, скорее всего, это результат местного говора: на стыке русского и украинского языков «г» фрикативное, а в документах его могли передавать по-разному.

Сравнение с однокоренными фамилиями — Острогский, Острогорцев, Остроглядов — показывает, что все они восходят к одному корню «острог» (укрепление). Но суффикс -ский в вашем случае выдаёт не просто прозвище, а именно дворянскую или шляхетскую среду. Низших сословий так называли редко: крестьянам давали фамилии на -ов/-ев или -ин. Таким образом, предок Остроьогильского — либо обедневший шляхтич, потерявший родовое имение, либо казак, приписавшийся к городу Острогожску.