Фамилия Каркавцев — одна из тех, что сразу выдают географию и род занятий предка. Она образована от прозвища или нецерковного имени Каркавец, а тот, в свою очередь, от глагола «каркать» — издавать резкий, неприятный звук, похожий на воронье карканье. В старину «каркуном» или «каркавцем» называли человека с хриплым, скрипучим голосом, а также того, кто любил ворчать или предсказывать неприятности (в народе говорили: «каркает, как ворон»). Реже прозвище могли дать за внешнее сходство с вороной — например, за черные волосы или сутулость.

Суффикс «-ев» указывает на классическую русскую патронимическую модель: Каркавцев — это «сын Каркавца». То есть фамилия закрепилась в поколении потомков человека, которого в округе знали под этим прозвищем. Обратите внимание на редкую для русских фамилий основу: «Каркав-» (с корнем «карк-») встречается нечасто, в отличие от более распространённых «Карпов» или «Карташов». Это делает фамилию локально привязанной — скорее всего, она возникла в среде северных или центральных русских говоров, где слово «каркать» было особенно употребительно.

Встречаются и альтернативные версии, хотя они менее убедительны. Например, связь с тюркским словом «карга» (ворона) маловероятна, так как русская огласовка и суффикс «-ец» указывают на исконно славянское происхождение. Также не стоит путать фамилию с украинской Каркавец — у той просто другая модель образования (без суффикса «-ов»).

По сословной принадлежности Каркавцевы, скорее всего, были крестьянами или посадскими людьми. В дворянских родословных книгах эта фамилия не зафиксирована, что типично для прозвищ из живой речи. Если искать однокоренные фамилии, то ближе всего стоят Каркунов, Каркавин и Каркачов — все они образованы от той же звукоподражательной основы, но с разными суффиксами.