Фамилия Каюмжий — редкий случай, когда в русском родовом имени застыло тюркское слово с арабскими корнями. В основе лежит мужское имя Каюм (Каюм, Кайюм), которое восходит к арабскому «аль-Кайюм» — «Вечносущий», один из эпитетов Аллаха. Формант «-жий» — это не типичный русский суффикс, а тюркский аффикс профессии или принадлежности, известный в татарском, башкирском и казахском языках (ср. «балыкчы» — рыбак, «тимерче» — кузнец). Таким образом, Каюмжий буквально означает «человек Каюма» или, что вероятнее, «слуга (или последователь) Каюма».

В русской среде фамилия прошла через адаптацию: тюркское окончание «-чы/-че» превратилось в «-жий» под влиянием русских фамилий на «-ий» (типа Кузнецкий, Донской). Такая модель встречается у татарских и башкирских родов, которые переселялись в центральные губернии России в XVIII–XIX веках. Фамилия не получила массового распространения и осталась локальной — её носители встречаются в основном в Поволжье (Татарстан, Башкортостан) и среди выходцев из этих регионов.

Споров о происхождении почти нет: версия с арабским теонимом и тюркским суффиксом — единственная состоятельная. Иногда фамилию путают с украинской Каюм (от имени Кайюм), но суффикс «-жий» однозначно указывает на тюркскую, а не славянскую модель образования. Сословно предки Каюмжий, скорее всего, были крестьянами или мещанами из татарских или башкирских общин, где имя Каюм давали в честь одного из «прекрасных имён» Бога. В метрических книгах XIX века такая фамилия могла записываться как Каюмчин, Каюмшев или Каюмжиев — написание стабилизировалось только к началу XX века.