Фамилия Каркавин — одна из тех русских фамилий, которые образовались не от крестильного имени, а от уличного прозвища. В основе лежит прозвище Каркава, и здесь есть две основные версии его происхождения, обе с опорой на живую разговорную речь.

Первая версия ведет прозвище к глаголу «каркать». В народной традиции это слово имело не только прямое значение (крик вороны), но и переносное — предвещать беду, быть занудным или ворчливым. Однако маловероятно, чтобы такое прозвище дали ребенку с пожеланием доброго нрава. Скорее, Каркавой могли прозвать взрослого человека за манеру речи или за привычку говорить неприятные вещи. Это типичная модель: внешность, поведение или особенность речи становились основой для фамилии.

Вторая версия опирается на белорусский глагол «каркаваць» — «закупоривать, затыкать (бутыль)». Если прозвище пошло от этого корня, то Каркавой могли назвать либо бондаря, либо человека, неравнодушного к выпивке — ироничное прозвище любителя хмельного. Такая двойственность (ремесло или привычка) встречается во многих фамилиях, образованных от глаголов действия.

Суффикс -ин указывает на принадлежность: Каркавин буквально значит «сын Каркавы» или «человек из рода Каркавы». Такая модель типична для северных и центральных областей России, где фамилии на -ин так же распространены, как на -ов на юге. Судя по географии, фамилия могла закрепиться там, где были сильны контакты с белорусскими говорами — в Смоленской, Брянской или Псковской землях.

Точное время появления фамилии не установлено, но процесс формирования фамилий у крестьян и мещан в этих краях шел в основном в XVII–XVIII веках. Каркавины — не дворянский род, а типичная фамилия, родившаяся из прозвища в среде простых людей: ремесленников, крестьян или посадских.