Фамилия Кадомцев восходит к топониму Кадом. Кадом — это поселок городского типа, административный центр Кадомского района Рязанской области России. Посёлок расположен на обоих берегах реки Мокша, в 245 км от Рязани. Кадом известен с 1209 года (впервые упоминается в Никоновской летописи). В XV веке Старый Кадом был покинут жителями вследствие разрушительных разливов реки Мокши; новый населённый пункт был основан на песчаных холмах в 6 км южнее, где была построена Кадомская крепость. В середине XV века Кадом с округой был отдан в удел казанскому царевичу Касиму и до конца XVII века был в составе Касимовского ханства. В Смутное время Кадом был захвачен польскими инетрвентами. В 1652—1764 годах здесь существовал мужской монастырь. Статус города Кадом носил до 1926 года, затем — сельское поселение, c 1958 года — посёлок городского типа. Вероятнее всего, родоначальник Кадомцевых был уроженцем Кадома, либо долгое время проживал здесь.