Фамилия Граковы (в документальной форме — Граков) образована от личного имени или прозвища Грак. Основа здесь — украинское слово «грак», что означает «грач». Это характерный пример «птичьей» фамилии, которые в славянской традиции давали по двум причинам. Первая — охранительная: называя ребёнка Грак, родители как бы вверяли его природе, надеясь, что к нему перейдут полезные качества этой птицы, а злые силы не тронут своего. Вторая — прозвищная: Граком могли прозвать взрослого человека, например, за чёрные как смоль волосы или за сходство с грачом по повадкам. В пользу украинского происхождения основы говорит и география: фамилия встречается в областях, где украинское влияние на русские говоры было сильным — в Курской, Белгородской, Воронежской губерниях.

Модель образования проста: суффикс -ов присоединился к основе Грак, указав на принадлежность — «сын Грака» или «из семьи Грака». Это стандартная патронимическая модель для восточнославянских фамилий, окончательно закрепившаяся в XVI–XVII веках. В отличие от фамилий на -ин, которые образуются от основ на -а/-я, фамилия Граков пошла по мужскому типу склонения. Интересно, что в русском языке слово «грак» не закрепилось: грача обычно называли «грач» или «грай», а «грак» осталось диалектным или украинским вариантом. Похожая модель встречается у фамилий Галков (от «галка»), Сорокин, Воробьёв — но в каждом случае своя диалектная основа.

Точное время возникновения фамилии назвать сложно: процесс шёл несколько столетий, и первые носители могли появиться и в XVII, и в XVIII веке. Однако ясно, что фамилия Граков — не искусственная, а живая, возникшая в крестьянской или казачьей среде, где мирские имена и прозвища держались дольше, чем в дворянских родах.