Фамилия Кармий образована от аналогичного именования, которое, вероятнее всего, имеет еврейское происхождение и образовано от слова kerem со значением «садовник». Возможно, что именование Кармий указывало на сферу деятельности его носителя – садоводство, возможно, виноградарство. Не исключено, что именование Кармий восходит к еврейскому прозвищу Карми со значением «рыжеволосый». В таком случае именование кармий отражало особенности внешности его носителя.