Фамилия Кайцова — редкий случай, когда суффикс -ов присоединён не к прозвищу, а к географическому названию, причём с чёткой региональной привязкой. В подавляющем большинстве фамилий на -ов основа — это личное имя или профессия, но здесь работает иная модель: «Кайцов» (и его женская форма Кайцова) образован от названия населённого пункта Кайцы. Такие топонимические фамилии характерны для севера России, особенно для Архангельской и Вологодской губерний, где деревни с корнем «кай» встречаются до сих пор (например, Кайсарово, Кайгород).

Само слово «кайцы» — не просто имя, а указание на жителей конкретной местности. В основе лежит диалектное «кай» — так в поморских говорах называли каменистую гряду, риф или скалистый берег. Человек, получивший фамилию Кайцов, скорее всего, был выходцем из деревни, стоявшей на такой возвышенности, или переселенцем, которого в новом месте прозвали по прежнему месту жительства: «откуда? — из Кайцев». Суффикс -ов здесь выполняет роль притяжательного: «сын того, кто из Кайцев».

Есть и более прозаичная, но менее вероятная версия: от прозвища Каец — так в некоторых говорах называли крикуна, задиру (от «каять» — бранить, укорять). Но в этом случае фамилия звучала бы как Каев или Кайцев, а не Кайцов — ударение и суффиксальная модель указывают именно на топоним. Форма Кайцова, соответственно, закрепилась за женщинами и в документах фиксируется как неизменяемая по мужскому роду.

В XIX веке носители фамилии были преимущественно государственными крестьянами севера, реже — мещанами в уездных городах. Дворянских родов Кайцовых не известно: фамилия осталась в крестьянской и купеческой среде, не попав в «Бархатную книгу». Сегодня Кайцовы встречаются в основном в Архангельской области, а также в среде потомков северных переселенцев в Сибири и на Дальнем Востоке.