Фамилия Айванов — редкий случай, когда в основе лежит не имя, а название фрукта, а именно «айва». Однако за этим ботаническим термином стоит не растение, а живой человек, которого так прозвали соседи. Словообразовательная модель прозрачна: корень «айв-», суффикс «-ан-» (как в фамилиях Иванов, Петров — патронимический, но здесь присоединён не к имени, а к прозвищу) и окончание «-ов». Суффикс указывает на типичную русскую модель: «чей?» — «Айванов», то есть потомок человека по прозвищу Айва.

Прозвище Айва могли дать по разным причинам. Самая прямая — человек торговал айвой, выращивал её или привёз этот южный плод в северные края, что в старину было диковинкой. Но есть и другая, более вероятная версия: в южнорусских и украинских говорах «айва» могла означать не только фрукт, но и яблоко особого сорта, а также переносно — нечто круглое, плотное, «наливное». Так могли прозвать человека с круглым лицом, румяного или коренастого. В словаре Б. Унбегауна «Русские фамилии» упоминается, что фамилии от названий плодов и фруктов встречаются редко — обычно они возникали не от прямого значения, а от прозвищ по внешности или роду занятий.

Географически фамилия Айванов тяготеет к югу России и Поволжью. Встречается в Астраханской, Волгоградской областях, а также в регионах, где исторически сильны тюркские и кавказские влияния. В тюркских языках (татарском, азербайджанском) слово «айва» звучит так же и означает тот же плод. Поэтому фамилия могла возникнуть в среде крещёных татар или азербайджанцев, перешедших в православие, — тогда Айванов будет русифицированной формой от тюркского прозвища Айва.

Встречается и вариант Айванян — это уже армянская фамилия с тем же корнем, но с другим суффиксом. В русском просторечии фамилию могли записывать и как Айванов, и как Айвов, но первый вариант стал основным.