Фамилия Шамхаов — редкая и явно нерусская по корню, но обрусевшая по форме. Её основа — тюркское или кавказское имя Шамхай (варианты: Шамхал, Шамхат). Само имя восходит к титулу «шамхал» — так называли верховных правителей у кумыков и других народов Дагестана. Шамхал считался княжеским или владетельным званием, сопоставимым с ханским. Соответственно, прозвище Шамхай мог получить человек, либо служивший у такого правителя, либо носивший это имя в честь знатного предка, либо обладавший властным, «княжеским» нравом.

Модель образования фамилии — русский патронимический суффикс -ов, добавленный к основе Шамха-. Это типичная схема для фамилий, возникших в среде, где тюркские и кавказские имена адаптировали под русскую грамматику: Шамхай → Шамхаев, но в говорах, где «а» переходило в «о» под ударением или под влиянием аканья, закрепилась форма Шамхаов. Такое чередование нередко встречается в фамилиях южнорусских и казачьих регионов, где оседали выходцы с Кавказа.

Географически фамилия Шамхаов тяготеет к Ставрополью, Краснодарскому краю, Ростовской области и республикам Северного Кавказа. В дореволюционных метриках её носители чаще всего записаны как государственные крестьяне или казаки — то есть предки не были князьями, а получили фамилию по имени или прозвищу, которое могло звучать как «Шамхай». Встречается и вариант Шамхаев, который этимологически первичен, но Шамхаов — более редкая и локальная форма.

В ономастических справочниках фамилию нередко путают с еврейской Шамхаев (от имени Шамхай, библейского корня), но русский суффикс -ов и отсутствие характерных для иудейских фамилий формантов (например, -зон, -ман) указывают на тюрко-кавказское происхождение. Если ваш предок носил фамилию Шамхаов, скорее всего, он был выходцем из среды, где тюркские имена смешивались с русской административной традицией, — это типично для казачьих станиц и переселенческих сёл XIX века.