Фамилия Карандаш — один из тех случаев, когда прозвище так и не обросло типичным русским суффиксом -ов или -ин. Она застыла в чистом виде, как и многие фамилии, образованные от названий предметов или орудий труда. В основе лежит слово «карандаш», но не в современном значении «пишущая принадлежность», а в старом, диалектном. В южнорусских и украинских говорах так называли коротышку, низкорослого человека, а иногда — непоседу или егозу. В словаре Даля зафиксировано: «карандаш» — малорослый, приземистый человек. Согласитесь, более логичное объяснение для прозвища, чем называть человека в честь грифельной палочки.

Версия о происхождении от тюркского «карадаш» (чёрный камень) — лингвистически верна для самого слова, но для фамилии она работает плохо. Прямое значение «чёрный камень» не даёт яркой характеристики человеку, а вот прозвище Карандаш в значении «коротышка» — хлёсткое и понятное. Поэтому большинство носителей фамилии получили её именно за свой рост или подвижность.

Географически фамилия тяготеет к югу России и востоку Украины, особенно к бывшим землям Войска Донского и Курской губернии. Там, где в обиходе было слово «карандаш» в значении «малорослый», охотнее давали и соответствующее прозвище. Интересно, что фамилия встречается и у белорусов, но там она могла возникнуть независимо, от того же корня.

С точки зрения словообразования, Карандаш — это фамилия, которая обошлась без суффикса. Такие «голые» фамилии в русской традиции — редкость, они характерны для украинской ономастики (например, Голова, Нос). Поэтому, если предки носителя фамилии были выходцами с юга или с Украины, версия с «коротышкой» становится почти бесспорной. Никакого тайного смысла или благородного происхождения здесь нет: фамилия — прямое, бытовое прозвище, данное по внешности.