Фамилия Карканов образована от прозвища или нецерковного имени Каркан, а оно, скорее всего, восходит к тюркскому слову «карган» — «ворон». В тюркских языках «карга» — ворона, а «карган» может означать и «ворон», и производное от него имя-оберег. У многих народов, особенно у татар и башкир, имя Карган (или Карга) давали ребёнку, чтобы злые силы не позарились на него: считалось, что «чёрное» имя отпугивает смерть и болезни. Так что первый носитель фамилии мог быть выходцем из тюркской среды, крещёным татарином или башкиром, либо русским, получившим прозвище за сходство с вороном — например, за чёрные волосы или хриплый голос.

Суффикс -ов указывает на типичную русскую модель образования фамилий: «чей?» — Карканов, то есть сын или потомок Каркана. Фамилия встречается в Поволжье, особенно в Самарской и Саратовской областях, а также на Урале — в районах, где исторически было смешанное русско-тюркское население. Это косвенно подтверждает версию о тюркском корне: именно там фамилия закрепилась чаще, чем в чисто русских северных или западных регионах.

Менее убедительная версия связывает Каркана с русским диалектным словом «каркать» — то есть кричать по-вороньи, браниться или предсказывать беду. Такое прозвище могли дать ворчливому или сварливому человеку. Однако в говорах слово «каркан» как самостоятельное существительное не фиксируется, а прозвища от глаголов обычно образуются через суффикс -ун (Каркун), так что эта гипотеза слабее.

В дореволюционных источниках Каркановы упоминаются среди крестьян и мещан. Сословной элиты среди носителей не было — фамилия оставалась простонародной, что типично для прозвищных фамилий с «птичьим» корнем. В советское время фамилия не получила широкой известности, и сегодня её редкость — скорее плюс для тех, кто хочет проследить свою родословную без путаницы с однофамильцами.