Фамилия Груздовы — одна из «грибных» фамилий, образованная от прозвища Груздь. На Руси груздём называли не просто любителя грибов, а крепкого, здорового, коренастого человека — по ассоциации с плотным и ядрёным грибом. Модель образования типична для русского ономастикона: к основе прозвища добавили патронимический суффикс -ов, указывающий на принадлежность («чей?» — Груздов), то есть «сын Груздя».

Фамилия довольно старая. Документы XVI–XVII веков сохранили ранние упоминания: Владимир Груздь, крестьянин, 1510 год, Новгород; Елисей Федорович Груздов, 1628 год, Новосиль. Эти записи показывают, что прозвище бытовало на северо-западе и в центральной России, а фамилия закрепилась уже в первой половине XVII века.

Интересно, что у фамилии Груздов есть «родственники» — Груздев, Груздков, Грузд. Но именно форма на -ов, а не на -ев, подсказывает, что основа заканчивалась на твёрдый согласный: Грузд, а не Груздь. Впрочем, в разговорной речи и письме XVII века путаница между мягким и твёрдым знаком была обычным делом, поэтому прозвище Груздь вполне могло дать и фамилию Груздов.

Точное место и время возникновения фамилии в её современном виде установить сложно: такие прозвища возникали независимо в разных областях. Но можно уверенно сказать, что предки Груздовых не были знатными боярами — фамилия вышла из крестьянской или посадской среды, где прозвища давали по внешним чертам или характеру.