Фамилия Кархалёв образована от мирского имени Кархаль. В древнерусской традиции такие имена нередко заменяли крестильные, а в документах могли выступать как официальные. Основа фамилии — слово «кархаль», которым в некоторых русских диалектах называют крохаля, утку-нырка. Родители, давая младенцу имя Кархаль, надеялись, что природа воспримет ребёнка как своего, а к нему перейдут полезные качества этой птицы — ловкость, умение плавать и нырять. Со временем потомок человека по имени Кархаль получил фамилию Кархалёв.

Словообразовательная модель здесь проста: к основе «Кархаль» добавили суффикс -ев, который указывает на принадлежность («чей?» — Кархалёв). Этот суффикс типичен для фамилий, образованных от имён и прозвищ, оканчивающихся на мягкий согласный или -й. В отличие от более распространённого -ов, суффикс -ев встречается реже, что делает фамилию Кархалёв менее типичной для центральных областей России, но вполне обычной для северных и северо-восточных говоров, где слово «кархаль» могло бытовать чаще.

В ономастических трудах, например в работах Б. Унбегауна, подобные фамилии от названий птиц классифицируются как «орнитонимические» — они составляют заметный пласт русских прозвищных фамилий. Однако точная география распространения фамилии Кархалёв не зафиксирована в крупных словарях, что может говорить о её локальном или редком характере. Спорных версий происхождения у этой фамилии нет: корень прозрачен, альтернативные гипотезы (например, от тюркского слова) не подтверждаются ни фонетически, ни исторически.