Фамилия Карухин образована по одной из самых распространённых в русском языке моделей: от основы на -а/-я через суффикс -ин. Это означает, что в основе лежит прозвище или нецерковное имя Каруха, которое, скорее всего, принадлежало главе рода. Суффикс -ин указывает на принадлежность: «чей?» — Карухин, то есть сын или потомок Карухи.

Корень «карух-» неочевиден и не связан с общеупотребительными русскими словами. Здесь возможны два основных объяснения. Первое и самое вероятное: это вариант прозвища Карый — от прилагательного «карий» (тёмно-коричневый, о цвете глаз или масти лошади). Форма Каруха могла возникнуть в диалектах через суффикс -ух(а), который придавал слову оттенок просторечности или увеличительности (ср. «толстуха», «грязнуха»). Таким образом, Каруха — человек с карими глазами, или, реже, тот, кто держал карих лошадей.

Вторая версия, менее распространённая, но также возможная: связь с тюркскими языками. Слово «кара» (чёрный) входит в состав множества тюркских имён и прозвищ (Кара-хан, Кара-бек). Если носитель фамилии происходил из регионов, где было сильно тюркское влияние (южные степи, Поволжье), то Каруха могло быть адаптированным на русский лад прозвищем от «кара» с русским суффиксальным оформлением. Однако в пользу славянской версии говорит то, что фамилия Карухин встречается преимущественно в центральных областях России, где тюркские заимствования редки в качестве прямых прозвищ.

Фамилия не является ни дворянской, ни крестьянской в узком смысле — она бытовала среди разных сословий, но чаще всего встречалась в среде однодворцев и государственных крестьян южнорусских губерний (Курская, Орловская, Тамбовская). В этих местах прозвища по внешним признакам были особенно распространены. В документах XIX века Карухины фиксируются как обычные сельские жители, без указания на знатное происхождение.

Интересная деталь: в некоторых говорах слово «каруха» могло означать не только человека, но и корову карей масти. Поэтому в редких случаях фамилия могла быть образована от прозвища, данного по сходству с животным (например, за медлительность или цвет волос), но это уже область народной этимологии, которую трудно подтвердить документально.