Фамилия Горовай — редкий случай, когда географический корень почти наверняка перевешивает все остальные версии. В её основе лежит не профессия и не личное имя, а название населённого пункта. На Украине и в Беларуси существует несколько сёл с названием Горовай или Гороваи, и именно оттуда, по всей видимости, пошла фамилия. Человек, переселившийся из такого села, получал прозвище Горовай, то есть «выходец из Гороваев», а его дети уже записывались как Гороваи.

Если разбирать словообразовательную модель, то суффикс -ай здесь нестандартный. В русских фамилиях он встречается редко, чаще в украинских и белорусских прозвищах (сравните: Коваль → Ковальчук, но здесь другая модель). Корень «гор-» может отсылать к «гора», но в данном случае это не прозвище «живущий на горе» — такое прозвище дали бы через суффикс -ин или -ский (Горин, Горский). А вот форма на -ай характерна именно для ойконимов — названий сёл. Есть версия, что само село Горовай получило имя от первопоселенца с прозвищем Горовой (от «гора»), но для носителя фамилии это уже вторично.

С точки зрения сословной принадлежности, Гороваи, скорее всего, относились к крестьянству или казачеству. Фамилия не дворянская (нет типичных дворянских суффиксов -ский/-цкий в значении владельческого топонима), и в старых ревизских сказках её носители встречаются в основном среди чернозёмных губерний Малороссии и южных уездов Беларуси. Встречаются варианты написания «Гаравай» (через «а»), что характерно для белорусской фонетики.

Попытка связать фамилию с «каравай» (через чередование к/г) лингвистически слаба: такое чередование в славянских языках нерегулярно, а «гора» даёт более прямой и логичный корень для топонима. Так что если вы Горовай, ваши предки почти наверняка были выходцами из одного из сёл с таким названием — и фамилия хранит память о конкретной точке на карте, а не о роде занятий.