Фамилия Усатоя — редкий случай, когда окончание выдаёт не географию, а грамматический род. Перед нами не типичная русская фамилия на -ов/-ин, а застывшая форма женского рода прилагательного. Если фамилия Усатов — стандартная патронимическая модель («сын усатого»), то Усатоя — это буквально «жена усатого» или «дочь усатого», но с окончанием, свойственным прилагательным женского рода в именительном падеже (как «молодая», «усатая»).

Такие формы встречаются в южнорусских и украинских говорах, где фамилии на -ая, -яя не перешли в привычные -а/-я. Сравните: Толстая, Кривая, Худая — у них та же модель. Усатоя, скорее всего, возникла как прозвище женщины по мужу: её муж был усатым, и окружающие называли её «Усатая», а в документах закрепилось написание через «о» — Усатоя. В старых переписях и ревизских сказках так могли записать вдову или дочь, когда фамилия ещё не стала наследственной и передавалась по ситуации.

Основа прозвища — «усатый», то есть человек с заметными, возможно, длинными или пышными усами. В крестьянской среде усы считались признаком зрелости и мужественности, но прозвище могли дать и с иронией: если усы были редкими или, наоборот, слишком выдающимися. В отличие от фамилии Усачёв, где корень «усач» (рыба или человек с большими усами), Усатоя подчёркивает именно качество, а не предмет.

Спорных версий тут немного. Можно предположить, что основа — диалектное «усатый» в значении «полосатый» (от «уса» — полоса), но это натяжка: для полосатого скорее использовали бы «усатый» в другом контексте, а фамилии с таким значением обычно строятся иначе. Правдоподобнее всего — прямое указание на внешность первого носителя.

Фамилия крайне редкая. В современных справочниках и базах данных она почти не встречается, что говорит о локальном бытовании, возможно, в одной-двух деревнях на юге России или в Беларуси. Носители Усатой, если они сохранили написание, — потомки тех, кого когда-то записали по материнской линии или по «женскому» прозвищу, что само по себе делает фамилию необычной.