Фамилию Караим чаще всего связывают с этническим прозвищем. Её основа — тюркское «кхарайым», то есть «караим». Так называют народ тюркской языковой группы, значительная часть которого исторически жила в Крыму и на территории современной Украины. Прозвище Караим, скорее всего, указывало на этническую принадлежность основателя фамилии — либо он сам был караимом, либо происходил из семьи, где помнили о таких корнях.

Впрочем, возможен и другой сценарий: прозвище могли дать за внешнее сходство с представителями этого народа. В украинской ономастике фамилии, образованные от названий народов, встречаются довольно часто, и тюркские корни здесь не редкость. Модель образования простая: прозвище перешло в фамилию без дополнительных суффиксов, что для украинских фамилий того времени — обычное дело.

Фамилия Караим — редкая. Она не получила широкого распространения, в отличие от производных вроде Караимов или Караимский. Встречается она преимущественно в южных и центральных областях Украины, где исторически были компактные поселения караимов. Если искать параллели, то фамилия стоит в одном ряду с такими же «этническими» прозвищами, как Лях, Татарин или Турок.