Фамилия Иволжатов — редкий случай, когда в основе лежит не взрослое прозвище, а название птенца. Исходное слово — «иволжата», то есть детёныши иволги. Суффикс -ат- в русских прозвищах обычно указывал на молодое существо или на человека, чем-то напоминающего детёныша: ср. Волчата, Козлята, Поросята. Так что первичное прозвище Иволжатый мог получить либо обладатель звонкого, чистого голоса (иволга поёт красиво, переливчато), либо человек щуплого телосложения, похожий на птенца.

Модель образования простая: прозвище на -атый → фамилия на -ов. Таких фамилий, образованных от названий детёнышей, в русском языке единицы — это и отличает Иволжатова от массы «птичьих» фамилий вроде Соколов или Воробьёв.

По второй, более архаичной версии, Иволжатый мог быть не прозвищем, а мирским именем. В дохристианской традиции ребёнка называли по названию зверя, птицы или растения, чтобы природа «признала» его своим и передала ему свои качества. В таком случае имя Иволжатый (от «иволжата») давали не за голос, а как оберег-пожелание: чтобы мальчик рос лёгким, быстрым, голосистым, как иволга.

География фамилии узкая. Иволжатовы встречаются преимущественно в Забайкалье и Бурятии — это типичная фамилия для старообрядческих (семейских) поселений. Скорее всего, предок носителя фамилии был выходцем из русских старожилов Сибири, где и закрепилось это редкое прозвище.