Фамилию Карандухова чаще всего выводят из прозвища Карандух. В русских говорах слово «карандыш» или «карандух» означало низкорослого, коренастого человека, почти однофамильца «коротышке». Корень здесь тот же, что в «корень» или «короткий» — через праславянское *kortъ. В некоторых диалектах «карандух» называли ещё и детскую игру или непоседливого ребёнка. Так что первый носитель фамилии мог быть человеком невысокого роста, плотного сложения, либо, что реже, прозвище дали шаловливому мальчишке.

Суффикс -ов- указывает на типичную русскую модель образования фамилий: сын Карандуха, то есть потомок того самого коренастого или вертлявого человека. Окончание -а в форме Карандухова — это женский вариант, но в быту и документах фамилия может склоняться и в мужском роде (Карандухов). Встречаемость фамилии крайне низкая, она локализована в основном в южнорусских и белорусских землях, где диалектное слово «карандух» сохранялось дольше.

Есть и более спорная версия, связывающая основу с тюркским «каран» (тёмный, черный) или «кара» (чёрный) плюс «дух». Но она слабая: в тюркских языках нет устойчивого сочетания «карандух» с таким значением, а фамилия звучит по-русски, а не по-татарски. Правдоподобнее объяснение через исконно славянский корень, тем более что в словаре русских народных говоров слово «карандуха» зафиксировано именно как «коротышка, малорослый человек».

В дореволюционных источниках фамилия не встречается среди дворянства или купечества — скорее всего, это крестьянская или мещанская фамилия, возникшая в среде, где прозвища давали по внешности или поведению, а не по профессии. Известных носителей, оставивших след в истории, нет, что тоже подтверждает её простонародное происхождение.