Фамилия Вагайский — редкая, и её происхождение почти наверняка связано с географией. Основа здесь — топоним Вагай. В первую очередь это название реки Вагай в Тюменской области (правый приток Иртыша) и одноимённого села, возникшего на ней. Модель образования прозрачна: суффикс -ск- указывает на принадлежность к месту, а окончание -ий — типичная форма русских фамилий, особенно тех, что когда-то бытовали как прозвища или полуофициальные именования по местности.

Человек по прозвищу Вагайский — это, скорее всего, выходец с берегов реки Вагай или из села Вагайского. В XVII–XVIII веках, когда осваивалась Сибирь, такие «географические» фамилии часто закреплялись за переселенцами, казаками или крестьянами, которых записывали по прежнему месту жительства. В отличие от фамилий на -ов/-ев, которые образуются от личных имён или прозвищ, фамилия на -ский чаще маркировала дворянское или служилое сословие, но в Сибири её могли давать и простым людям, особенно если они переезжали из одного острога в другой.

Менее вероятная, но допустимая версия — происхождение от прозвища Вагай. В тюркских языках слово «вагай» может означать «крикливый», «шумный» или относиться к названию племенной группы. Однако в русской ономастике для этой фамилии такая версия слаба: суффикс -ский нехарактерен для прозвищных основ, и логичнее предположить, что прозвище само образовано от реки, а не наоборот.

Интересно, что фамилия Вагайский практически не встречается за пределами Западной Сибири. Если ваш предок носил её, он с высокой долей вероятности был жителем Тобольской губернии или Тюменского уезда. В дореволюционных метрических книгах эта фамилия могла записываться с вариациями — Вагайсков, Вагайских, но форма на -ский остаётся основной. Фамилия не получила широкого распространения, поэтому её носители, скорее всего, связаны общим корнем — небольшой рекой, которая дала название целому роду.