Фамилия Карандашев происходит от прозвища Карандыш, которое давали невысокому, малорослому человеку — «коротышу». В тюркских языках слово «карандыш» (или «карандаш») имело именно такое значение, и лишь позже, под влиянием русского языка, закрепилось за знакомым всем предметом для письма. Таким образом, основа фамилии — не графитовый стержень, а характеристика внешности первого носителя.

Ономастический словарь С. Б. Веселовского фиксирует ранние упоминания: Борис Дмитриевич Карандышев, 1587 год, Тула, и Анучка Карандышев, посадский человек, 1637 год, Устюг. Оба примера показывают, что в XVI–XVII веках фамилия бытовала в разных регионах — от центральной России до северных городов. Причём в документах того времени она писалась через «ы» — Карандышев, что ближе к исходному тюркскому звучанию. Переход в современную форму «Карандашев» произошёл уже под влиянием русского произношения и письменной традиции, когда слово «карандаш» стало привычным.

Суффикс «-ев» указывает на притяжательное значение: «сын Карандыша». Такая модель типична для русских фамилий, образованных от прозвищ или имён, оканчивающихся на мягкий согласный. В данном случае — от Карандыш к Карандышев, а затем к более привычному уху Карандашев. Фамилия не относится к числу дворянских: судя по записям, её носили посадские люди и служилые, что говорит о её распространённости в среде непривилегированных сословий.

Редкость фамилии не в её корне, а в том, что она сохранила прямую связь с внешним признаком, а не с профессией или именем. В отличие от однокоренных «Карандашов» или «Карандышев», вариант с «а» во втором слоге стал основным под влиянием бытовой лексики. Сегодня Карандашевы встречаются преимущественно в центральной России и Поволжье, но их родословная уходит в те же края, что и четыре века назад.