Фамилия Рытая — редкий случай, когда в основе лежит не имя и не профессия, а, скорее всего, прозвище по действию или свойству. Суффикс -ая указывает на то, что это «окающая» форма краткого прилагательного, типичная для южнорусских и украинских говоров. В северных и центральных регионах ту же основу превратили бы в Рытов или Рытовский, а здесь она застыла в виде, близком к диалектному слову.

Самая прямая версия: прозвище Рытая могли дать женщине, которая много копает — работает в поле, на огороде или, например, занимается рытьём колодцев. В русских говорах «рытый» — это не только «выкопанный», но и «покрытый рябинами, щербинами» (от оспы). Сравните с диалектным «рытый» в значении «рябой». Если у предка было лицо, тронутое оспой, его могли прозвать Рытым, а потом и всю семью записать как Рытые.

Менее очевидная, но возможная связь — с украинским «ритий» (рытый, в значении «изрытый оврагами»). В таком случае фамилия могла возникнуть как топонимическое прозвище человека, жившего в овражистой местности. Встречаются и фамилии-однофамильцы, например, Рытов или Рытиков, но Рытая стоит особняком: её окончание выдает женскую форму, которая могла закрепиться за вдовой или главой семьи в тех краях, где фамилии ещё не устоялись и детей писали по матери.

В дореволюционных переписях фамилия почти не встречается — это говорит о её локальном бытовании, скорее всего, в Черноземье или на Слобожанщине. Носители фамилии Рытая сегодня — это потомки тех, кого в деревне знали как «Рытую»: либо по оспинам на лице, либо по привычке копаться в земле, либо по дому на рытвинах.