Фамилия Графовы (в мужском роде — Графов) строится по самой распространённой русской модели: основа плюс суффикс -ов. Этот суффикс указывает на принадлежность («чей?»), то есть исходно фамилия отвечала на вопрос: «Чей ты будешь?» — «Графов», то есть человек из семьи, связанной с графом. Но вот что именно стоит в основе — прозвище Граф или слово «графский» — вопрос, вокруг которого и строится главная загадка фамилии.

Первая версия, лежащая на поверхности: прозвище Граф давали крестьянину, который вёл себя по-барски, не любил работать и норовил переложить труд на других. Такие ироничные прозвища — Князь, Барин, Король — в деревне были обычным делом. Однако у этой версии есть слабое место: в крестьянской среде прозвище Граф встречается реже, чем Князь или Барин, да и смысловая нагрузка у него иная.

Гораздо убедительнее выглядит вторая, историческая версия. При переписях крестьян или при освобождении от крепостной зависимости бывшие крепостные могли назвать себя не по личному прозвищу, а по принадлежности помещику. Семья отвечала: «Мы графские», то есть крестьяне такого-то графа. В отличие от государственных (казённых) или монастырских крестьян, «графские» составляли особую категорию. Из этого определения и могла закрепиться фамилия Графов — как указание на то, что предки были крепостными или дворовыми людьми конкретного графа. Недаром фамилии, образованные от титулов (Князев, Бояринов, Графов), часто несут не прозвищный, а сословный след.

Точное время и место возникновения фамилии Графовы установить сложно: процесс закрепления фамилий в разных губерниях шёл с XVII по XIX век, и в каждом случае были свои причины. Но ясно, что перед нами не случайное прозвище, а социальный маркер: фамилия прямо говорит о положении предков в крепостной иерархии. В этом её ценность как памятника не столько славянской письменности вообще, сколько русской социальной истории и быта крестьянства.