Фамилия Карчоха — яркий пример того, как прозвище может закрепиться в качестве родового имени, минуя типичные суффиксальные модели. В ней нет ни -ов, ни -ин, что сразу указывает на её украинское или южнорусское происхождение. Такие бессуффиксные фамилии (вроде Шевченко, Палий, Голота) обычно фиксировали прозвище в его исходной, «голой» форме, без прибавки «чей сын».

Основа фамилии — слово «карчоха». В южных и западных говорах русского языка, а также в украинском языке «карч» или «карча» — это коряга, пень, корневище, вывороченное из земли. Суффикс -ох- (-ех-) придаёт слову уничижительный или увеличительный оттенок. Таким образом, Карчоха — это не просто «пень», а нечто корявое, массивное, неудобное. Прозвище могли дать человеку с коренастой, неуклюжей фигурой, либо тому, кто был упрям, «как пень», или же жил на лесной вырубке, у болотистой местности, полной коряг.

В ономастике известны фамилии с основой «карч» — Карч, Карчев, Карчов, Карчагин. Карчоха стоит в этом ряду особняком, сохранив более архаичную и диалектную форму. Встречается она преимущественно в Черниговской, Полтавской и Сумской областях Украины, а также в приграничных районах России (Брянская, Курская области). Там же, в бассейне Десны и Сейма, слово «карч» было в ходу для обозначения подводных коряг, опасных для рыбаков.

Версия о происхождении от личного имени Карп (через промежуточную форму Карчоха) менее вероятна: для уменьшительных форм от Карпа типичны суффиксы -уш-, -юш- (Карпуша, Карюша), а -ох- для имён нехарактерен. Скорее всего, перед нами чисто апеллятивное прозвище, которое со временем стало фамилией без каких-либо дополнительных изменений. Носитель такой фамилии мог быть потомком крестьянина или рыбака, чья внешность или характер напоминали окружающим корявый, упрямый пень.