Фамилия Карадыма — редкий случай, когда в основе лежит не прозвище и не профессия, а напрямую указание на внешность или физическое качество. Она состоит из двух тюркских корней: «кара» — чёрный, тёмный, и «дыма» (от «дым» — в значении «дымка», «туман» или даже «пар»). Буквально — «чёрный дым» или «тёмный, как дым». Вряд ли речь шла о цвете дыма как такового — скорее, так могли прозвать человека со смуглой кожей, очень тёмными волосами или густой бородой, который напоминал окружающим клубы чёрного тумана. В тюркской антропонимике такие «цветовые» прозвища (Кара, Ак, Сары) были распространены, но двойная основа с «дымом» встречается редко.

Модель образования нестандартна для русских фамилий: окончание -а указывает на то, что фамилия застыла в форме тюркского прозвища без добавления типичных русских суффиксов (-ов, -ин). Это характерно для фамилий, которые вошли в русский обиход сравнительно поздно (XVIII–XIX века) и не успели «обрусеть». Скорее всего, носители происходят из регионов с сильным тюркским влиянием — Поволжья, Северного Кавказа или юга России, где татарские, ногайские или кумыкские прозвища могли фиксироваться в документах именно в таком виде.

Есть и альтернативная, менее правдоподобная версия: связь с греческим словом «кара» (голова) и славянским «дым», что дало бы прозвище вроде «дым над головой». Однако для фамилии, бытующей в основном в русско-тюркской среде, тюркская этимология гораздо логичнее. В словаре Б. Унбегауна подобные конструкции не рассматриваются, но в работах В. Никонова по ономастике Поволжья упоминаются фамилии с корнем «кара-» как типичные для татар-мишарей и башкир.

Встретить фамилию Карадыма сегодня можно эпизодически — в основном в Краснодарском крае, Ростовской области и на Ставрополье. В дореволюционных переписях она почти не фиксируется, что говорит о её позднем закреплении. Предки носителей, вероятно, были крестьянами или казаками, получившими фамилию по уличному прозвищу, которое в семье передавалось из уст в уста и в итоге попало в метрики.