Оно ведет свое начало от прилагательного «говорящий» с отрицательной приставкой «не». Вероятно, прозвище отражало особенности характера и поведения основателя фамилии (молчаливый, тихий, неразговорчивый). В данном случае, надеясь иметь здорового и общительного мальчика, родители назвали его Неговорой.