Фамилия Вагинов — хороший пример того, как внешне понятная основа может скрывать сразу несколько версий происхождения, и ни одна из них не является очевидной. Разберёмся по порядку, отталкиваясь от суффикса.

Модель образования здесь прозрачна: суффикс -ов указывает на принадлежность или свойство по отцу. Вагинов — буквально «сын Вагина» или «из рода Вагина». Но что стоит в основе — имя Вага или прозвище Вага? В старых русских документах встречается имя Вага, которое могло быть сокращением от крестильного имени, например, от Варлаам или Вагрий, а могло быть и мирским, нецерковным прозвищем. Однако есть и другая, более бытовая версия: «вага» в диалектах русского языка — это коромысло для ношения вёдер, а также рычаг или весы. Прозвище Вага могли дать либо коренастому, сильному человеку (по ассоциации с рычагом), либо тому, кто постоянно носил воду, либо, что реже, торговцу, работавшему с весами.

Спорный момент — связь с фамилией Вагин. На слух они почти одинаковы, но разница в суффиксе (-ин против -ов) часто указывает на разную основу. Вагин, как правило, происходит от слова «вага» в значении «весы» или от диалектного «вага» — «нога, ходуля». А вот Вагинов — это уже отчество от прозвища Вагин, то есть фамилия «второго порядка»: сначала был человек по прозвищу Вага, его сына звали Вагин (чей? — Вагин сын), а внука — Вагинов. Такая цепочка встречается реже, но делает фамилию более поздней по времени возникновения: она могла оформиться в среде, где фамилии давали не по отцу, а по деду, или в тех регионах, где суффикс -ов был доминирующим и вытеснял -ин.

Географически фамилия тяготеет к северным и центральным областям России, где слово «вага» было в ходу. В Архангельской губернии есть река Вага, и жителей по ней называли важанами, что тоже могло дать прозвище. Но для фамилии Вагинов этот топонимический след менее вероятен, чем прозвищный, так как суффикс -инов скорее указывает на личное имя или прозвище, чем на название реки (от реки получились бы Вагины или Важские).

Итог: перед нами отчество от прозвища или имени Вага, которое, скорее всего, описывало физическую особенность или род занятий предка. Фамилия недворянская, крестьянская или мещанская, и её редкость говорит о том, что род был локальным, не размножившимся по всей стране.