Фамилия Ротайский — довольно редкая, и её происхождение не лежит на поверхности. В отличие от множества фамилий на -ский, образованных от названий сёл и городов, Ротайский, скорее всего, имеет прозвищную основу. Ключ к разгадке — корень «рот». В старину прозвище Рот или Ротай могли дать человеку с большим, широким или постоянно открытым ртом, крикуну, говорливому человеку. Суффикс -ский в этом случае выполняет не географическую, а притяжательную или характеризующую функцию, как в фамилиях Смирнский или Весёлый, указывая на принадлежность к определённому типу людей.

Словообразовательная модель здесь необычна. Обычно фамилии от прозвищ образуются через суффиксы -ов/-ев или -ин: Ротов, Роткин. Появление суффикса -ский говорит о том, что фамилия могла сложиться в среде польской или украинской шляхты, где такая модель была распространена шире, а также в среде духовенства. Семинаристам часто давали фамилии, «облагороженные» окончанием -ский, от простых русских корней. Таким образом, Ротайский мог получить свою фамилию как «сын Ротая» или как человек, получивший прозвище Ротай.

Менее вероятная, но возможная версия связывает фамилию с диалектным словом «ротай» — так в некоторых говорах называли вялого, медлительного человека или, наоборот, работящего (от «ратай» — пахарь, но с утратой начального гласного). Если это так, то фамилия могла возникнуть в южных и западных регионах России, где слово «ратай» было в ходу. Однако фонетический переход «ратай» в «ротай» не является общепринятым, и версия с прозвищем от слова «рот» выглядит более прямой.

Географически фамилия Ротайский встречается в основном в западной части России, на Украине и в Беларуси, что косвенно подтверждает её возможное польское или малороссийское происхождение. Встречается она и среди старообрядцев, что усложняет однозначную атрибуцию. Известных исторических фигур с такой фамилией нет, что только подтверждает её локальный, прозвищный характер. Носитель фамилии Ротайский, скорее всего, потомок человека, которого в округе запомнили по какой-то яркой особенности — голосу, разговорчивости или, возможно, внешности.