Фамилия Махмутоова — редкий случай, когда двойное «о» в суффиксе не ошибка, а особенность словообразования. Это вариант фамилии Махмутов, но с иной морфологической моделью. Разберёмся по порядку.

В основе лежит арабское имя Махмут — диалектная, чаще татарская или башкирская форма имени Махмуд (в переводе «хваленый», «достойный похвалы»). Имя широко распространено у тюркских и кавказских народов, принявших ислам. От него образовали фамилию по русской патронимической модели: к основе добавили суффикс -ов, что буквально значит «сын Махмута» или «из рода Махмута». Так появилась фамилия Махмутов.

Но у вас — Махмутоова. Здесь сработала другая схема. В некоторых тюркских языках (например, в кумыкском или ногайском) имя Махмут могло получить дополнительный компонент -о, который выполнял роль усилительной или почтительной частицы. Получалось Махмуто — уважительное обращение к старшему. Затем к этому варианту присоединили русский суффикс -ов. То есть фамилия образована не от имени Махмут, а от его почтительной формы Махмуто. Двойное «о» на стыке корня и суффикса — естественный результат: Махмуто + ов.

Географически такая форма встречается редко, но её можно встретить у народов Дагестана, особенно у кумыков, где уважительные формы имён на -о традиционны. Также возможен вариант, что фамилию записывали со слуха и закрепили именно такое написание, хотя по правилам орфографии следовало бы писать Махмутов. Но для ономастики зафиксированная форма первична.

Таким образом, предки носителя фамилии Махмутоова, скорее всего, были тюркоязычными мусульманами (кумыками, татарами или башкирами), а сама фамилия указывает на уважаемого человека по имени Махмут, которого в быту называли с почтением — Махмуто.