Фамилия Каркуновы образована от личного прозвища Каркун. Самая прямая и очевидная версия связывает его с глаголом «каркать» — так могли назвать человека с хриплым, резким голосом, напоминающим воронье карканье, или же болтливого, любящего «накаркать» беду. Это прозвище из разряда «птичьих»: по той же модели появились Воробьёвы, Соколовы, Голубевы, но Каркуновы стоят особняком — в основе лежит не название птицы, а её крик.

Менее известна вторая версия, пришедшая из белорусского языка. Глагол «каркаваць» означает «закупоривать бутыль», то есть Каркуном могли прозвать бондаря или шинкаря — человека, который закрывал бочки и бутыли. Эта гипотеза переводит фамилию из звукоподражательного разряда в профессиональный. Третья, самая редкая гипотеза, отсылает к западнославянскому «карк» — «шея, затылок». В этом случае прозвище могло указывать на какую-то особенность осанки или телосложения.

Суффикс -ов в фамилии указывает на принадлежность: Каркунов — сын Каркуна. Такая модель стала стандартной для русских фамилий в XV–XVII веках, но точное место и время возникновения именно этой фамилии установить сложно. Фамилия встречается в разных регионах, но чаще — в центральной России и на юге, где «акающие» говоры и влияние белорусских диалектов сильнее. Однокоренные фамилии — Каркушин, Каркухин — встречаются реже, что делает Каркуновых заметным памятником славянской антропонимии, где в одном прозвище сошлись и природная звукопись, и ремесло, и диалектная география.