Фамилия Вельховой — редкий случай, когда женская форма закрепилась как основная, неизменяемая. В русской традиции фамилии на -ой (Вельховой, Донской, Толстой) обычно принадлежали женщинам, но если документы фиксируют именно такую форму за мужчиной, значит, перед нами застывшая в именительном падеже фамилия, образованная от прилагательного. Чаще всего такие фамилии встречались в южнорусских и украинских говорах, где окончание -ой в прилагательных было нормой (сравните: «великой» вместо «великий»). Поэтому Вельховой мог быть и мужчиной, и женщиной — в зависимости от контекста записи.

Основа фамилии — «вельх» или «вельха». Это диалектное, скорее всего, западное или южное произношение слова «ольха» (дерево). В украинском, белорусском и некоторых русских говорах (брянских, смоленских) ольху называют «вільха», «вельха». Отсюда и прозвище Вельха — так могли назвать человека, жившего у ольховой рощи, либо мастера, работавшего с ольхой (например, плотника, делавшего из неё срубы колодцев или лёгкую утварь). Ольха считалась «кровяным» деревом в народной магии, но для бытового прозвища это вряд ли имело значение — скорее, чисто топографическая или ремесленная примета.

Словообразовательная модель проста: суффикс -ов- указывал на принадлежность («чей?»), но в сочетании с окончанием -ой даёт форму притяжательного прилагательного. Вельховой — буквально «тот, кто относится к Вельхе» (сын или слуга человека по прозвищу Вельха). Редкость фамилии объясняется тем, что в официальных переписях диалектную форму «вельха» часто заменяли на литературную «ольха», и фамилии Ольхов, Ольховский, Ольхин встречаются гораздо чаще. Вельховой — как раз тот случай, когда говор сохранил исходное звучание.

Географически фамилия тяготеет к западу России и востоку Украины: Брянщина, Смоленщина, Черниговщина. В дореволюционных документах Вельховые могли быть как крестьянами, так и мещанами — сословного барьера у прозвищ по деревьям не было. Сейчас фамилия крайне малочисленна, что делает её ценной для генеалогического поиска: каждый носитель, скорее всего, связан с конкретным родом из одного-двух сёл.