Фамилия Грызя — редкий случай, когда прозвище перешло в фамилию почти без изменений, сохранив глагольную форму. В русской ономастике фамилии на -я обычно либо украинского происхождения (типа Грызня, Палия), либо образованы от прозвищ в именительном падеже. Здесь, скорее всего, перед нами второй вариант: прозвище Грызя дали человеку, который постоянно «грыз» — то ли зубами (например, щипал семечки, откусывал хлеб), то ли в переносном смысле: ворчал, пилил, «грыз» домашних или соседей. В говорах слово «грызя» могло означать сварливого, придирчивого человека.

Модель образования проста: основа (глагол «грызть» в форме 3-го лица или повелительного наклонения) + нулевое окончание. Фамилия не получила типичных суффиксов -ов, -ин, -ский, что указывает на её позднюю фиксацию или на то, что она закрепилась в малограмотной среде, где прозвище записали в документах «как слышалось». По той же модели сложились фамилии Гуля, Плакса, Рева, Ворча.

Встречается фамилия Грызя преимущественно на западе и юге России, а также в Беларуси и на Украине — в регионах, где сильна традиция прозвищных фамилий без суффиксов. В переписях XVII–XVIII веков такие формы почти не фиксировались: крестьянам чаще давали фамилии на -ов по имени отца. Значит, Грызя — либо поздняя фамилия (XIX век), либо первоначально была уличным прозвищем, которое лишь в советское время попало в паспорт.

Сравните с однокоренными: Грызлов (от «грызло» — кусок, или от прозвища Грызло), Грызловы известны с XVI века. А вот Грызя — более «живая», разговорная форма, без уменьшительного суффикса. Если у вашего предка было такое прозвище, он, вероятно, был не из знатных, а из крестьян или мещан, и характер имел неуступчивый, въедливый.