Фамилия Бая — редкий случай, когда носитель вряд ли сразу догадается, с какой стороны подступиться. В ней нет привычного русского суффикса -ов или -ин, и окончание -а не обязательно женское: фамилия склоняется и в мужском, и в женском варианте (у Ивана Баи, у Анны Баи). Это сразу говорит о том, что корни её невеликорусские, а скорее всего — тюркские или кавказские.

Самая вероятная версия: основа «бай» — древнетюркское слово со значением «богатый», «господин», «хозяин». В татарском, башкирском, казахском и других тюркских языках «бай» — это и состоятельный человек, и уважительное обращение. Фамилия Бая могла возникнуть как русифицированная форма от имени Бай (например, татарского Баймурат, где «бай» — первая часть) или от прозвища «Бая» — «богач». В русских документах XIX века такие имена и прозвища нередко записывали на слух, без суффиксов, особенно в смешанных регионах — в Поволжье, на Урале, в Оренбуржье.

Есть и более экзотическая версия — связь с грузинским «бая» (ბაია), что означает «ребёнок», «малыш». В Грузии это и имя, и основа для фамилий, но обычно грузинские фамилии оканчиваются на -дзе, -швили, -иа. Форма Бая могла возникнуть как усечение более длинной фамилии (например, Баиашвили) при переселении в русскоязычную среду или при упрощении в документах. Однако эта гипотеза менее правдоподобна: тюркская версия объясняет фамилию проще и встречается в ономастических справочниках чаще.

Интересно, что фамилия Бая не имеет однокоренных «братьев» вроде Баев или Баин — это указывает на то, что она либо очень локальна, либо возникла поздно, когда суффиксальное оформление уже не было обязательным. Встречается она преимущественно среди татар, башкир, чувашей и народов Северного Кавказа, а также у русских, живших в соседстве с ними. Если ваш предок носил фамилию Бая, скорее всего, он был либо зажиточным крестьянином (по прозвищу), либо потомком человека, которого в округе называли «баем» — хозяином или старшиной.