Фамилия Албов — редкий случай, когда географическая привязка оказывается важнее разбора корня. В отличие от большинства русских фамилий на -ов, образованных от крестильных имён или прозвищ, Албов почти наверняка несёт в себе указание на место: реку Алба или Албу. Такая топонимическая модель (река → прозвище → фамилия) характерна для юга России, особенно для казачьих областей и Северного Кавказа, где фамилии нередко закрепляли за человеком название местности, на которой он поселился или откуда пришёл.

Если отталкиваться от этой версии, основа «Алб» восходит к тюркскому или иранскому корню со значением «красный», «алый». В гидронимике Кавказа и Предкавказья встречаются реки с похожим названием, например Алба (приток Кубани) или Албаши. Человек, живший на такой реке, мог получить прозвище Алба или Албов — «тот, кто с Албы». Суффикс -ов здесь работает как притяжательный: «сын Алба». Прямых параллелей с личным именем Алб в русской антропонимике нет, что делает топонимическое объяснение самым правдоподобным.

Менее вероятна, но возможна связь с грузинским или осетинским «алб» — «белый» (ср. осетинское æлвæст — «беловатый»). В таком случае фамилия могла возникнуть у народов Кавказа и затем русифицироваться через суффикс -ов при записи в российские документы. Однако для чисто русской среды этот вариант экзотичен и встречается редко.

Фамилия Албов не относится к числу распространённых. В дореволюционных источниках она встречается в основном среди терских и кубанских казаков, а также в среде горских народов, принявших православие. В XIX веке носители фамилии фиксировались в Ставропольской губернии и в Закавказье. Сословная принадлежность могла быть разной: от казаков до крестьян и мещан, но единого дворянского рода с такой фамилией не известно.