Фамилия Котоева образована от мужского варианта Котоев, а тот, в свою очередь, — от прозвища или нецерковного имени Котой. Самая вероятная основа — осетинское слово «кот» (кошка). В таком случае Котой — это человек, которого прозвали за кошачьи повадки: мягкую походку, хитрость, любовь к теплу или независимый нрав. Прозвища по животным в русской и осетинской среде были распространены: они давались не в обиду, а как меткая характеристика, которая затем закреплялась за родом.

Модель образования фамилии — суффикс -ев, который присоединяется к основам на -й. В русской ономастике это стандартный способ: от прозвища Котой (где -ой — типичное окончание прилагательного в роли прозвища) легко получается притяжательное «Котоев» — сын Котоя. Женская форма Котоева — это естественное грамматическое согласование по роду.

Есть и другая версия, менее вероятная, но не лишённая логики: связь с тюркским словом «кот» (дом, жилище, стоянка). В таком случае Котой мог означать «домосед» или «хозяин дома». Однако осетинская версия выглядит предпочтительнее, поскольку фамилия Котоева, судя по данным из открытых источников, концентрируется именно на Северном Кавказе, в первую очередь в Северной Осетии. Там же встречаются однокоренные фамилии — Котов, Котиев, что указывает на общий корень.

Суффикс -ев (а не -ов) указывает на то, что основа прозвища заканчивалась на мягкий или шипящий звук. В данном случае — на «й». Это отличает фамилию от более частотной Котова, которая произошла от прозвища Кот (без суффикса -ой). Таким образом, Котоева — не вариант написания Котова, а самостоятельная фамилия с собственной словообразовательной историей.