Фамилия Шемитов образована по одной из самых распространённых в русском языке моделей — от прозвища или имени с помощью суффикса -ов, который указывает на принадлежность («чей?»). Основа здесь — Шемит. Это некалендарное, то есть не церковное, имя или прозвище, и его происхождение неоднозначно. Самая прямая и правдоподобная версия: в основе лежит тюркское слово «шемит» (или близкое к нему «шемид»), означающее «память», «воспоминание» или «поминальный». В таком случае прозвище могли дать ребёнку, родившемуся после смерти отца или другого родственника, — своего рода «память о предке». Это объяснение хорошо ложится в традицию имён-оберегов и прозвищ по обстоятельствам рождения, распространённую у татар, башкир и других тюркских народов, с которыми русские издавна соседствовали.

Есть и другая, менее вероятная версия, связывающая Шемит с библейским именем Сим (Шем). В таком случае Шемит — это русифицированная форма от «сын Сима» (Шема), но эта гипотеза сталкивается с трудностями: в русской традиции библейские имена редко давали в такой прямой, неадаптированной форме, и суффикс -ит здесь нехарактерен. Скорее всего, мы имеем дело с местным, региональным прозвищем, которое закрепилось в Поволжье или на Урале, где тюркское влияние на русскую антропонимию особенно сильно. Сама фамилия Шемитов — довольно редкая; её носители, вероятно, происходят из среды служилых людей или крестьян, получивших фамилию при переписях в XVII–XIX веках от прозвища главы семьи.