Фамилия Кадомцев прямо указывает на географическое происхождение своего первого носителя. В её основе лежит топоним Кадом — посёлок городского типа в Рязанской области, административный центр Кадомского района. История этого места уходит в глубокое средневековье: Кадом впервые упоминается в Никоновской летописи под 1209 годом. Посёлок стоит на обоих берегах реки Мокша, в 245 километрах от Рязани, и его судьба была непростой.

В XV веке Старый Кадом жители покинули из-за разрушительных разливов Мокши. Новое поселение основали в 6 километрах южнее, на песчаных холмах, где возвели Кадомскую крепость. С середины XV века Кадом с округой отошёл в удел казанскому царевичу Касиму и до конца XVII века входил в состав Касимовского ханства. В Смутное время поселение захватили польские интервенты. С 1652 по 1764 год здесь действовал мужской монастырь. Статус города Кадом носил до 1926 года, затем стал сельским поселением, а с 1958 года — посёлком городского типа.

Фамилия образована по стандартной модели: к основе «Кадом» добавили суффикс -ец, обозначающий принадлежность к местности («кадомец» — житель Кадома), а затем — патронимический суффикс -ев. Такую же схему мы видим в фамилиях Ростовцев, Тамбовцев, Муромцев. Родоначальник Кадомцевых, скорее всего, был либо уроженцем Кадома, либо долгое время там проживал, и его прозвище «Кадомец» закрепилось за потомками.

С точки зрения словообразования, суффикс -ец в основе «кадомец» типичен для фамилий, указывающих на выходца из определённого города или региона. Важно, что это не дворянская фамилия, а крестьянская или мещанская: такие «географические» фамилии чаще всего получали люди, переехавшие на новое место и получившие прозвище по прежнему месту жительства. Если искать однокоренные фамилии, то это Кадомский (с суффиксом -ский, характерным для польской и украинской традиции) и более редкая Кадомин.