Фамилия Кярхи — редкий для России пример фамилии, образованной не от русского, а от финского или карельского корня. Её основа — слово «kärhi», которое в этих языках означает «усы» (у растения) или «усик», «побег». В переносном смысле так могли назвать человека с длинными, тонкими усами, либо по сходству с вьющимся растением — например, за худощавое телосложение или цепкий, «вьющийся» характер.

Словообразовательная модель здесь простая: финская основа без дополнительного русского суффикса. Это отличает Кярхи от большинства фамилий, адаптированных через -ов или -ин (как Кярхин или Кярхов — такие варианты тоже встречаются, но реже). Сохранение исходного окончания на -и — признак того, что фамилия закрепилась в документах в том виде, в каком её записали со слов носителя, без русификации. По той же модели, например, сложились фамилии Кууси, Лампи или Сиркка.

Географически фамилия Кярхи привязана к регионам исторического расселения ингерманландских финнов и карелов: Ленинградская область, Карелия, а также Финляндия. Массово такие фамилии фиксировались в метрических книгах лютеранских приходов XIX века. В России после переселений и репрессий XX века носители фамилии оказались разбросаны, но наибольшая концентрация до сих пор сохраняется на северо-западе страны.

Версия о происхождении от прозвища, данного по внешности, — основная и наиболее правдоподобная. Альтернативное объяснение, связывающее фамилию с карельским «kärhi» в значении «сухой, хилый человек», менее убедительно: эта лексема узко диалектна и почти не встречается в письменных источниках. Скорее всего, предок носителя фамилии получил прозвище по заметной детали облика — и оно закрепилось как родовое имя.