Фамилия Карандашов — одна из тех, что возникла из прозвища, связанного с ремеслом или торговлей. Её основа — слово «карандаш», которое попало в русский язык из тюркских наречий: «кара» — «чёрный», «даш» — «камень». Первоначально так называли минерал графит, которым писали. Когда в Европе, а затем и в России распространились деревянные палочки с графитовым стержнем, появилась профессия — изготовитель или продавец карандашей. Человека, занятого этим делом, в быту и могли прозвать Карандашом.

Фамилия образована по стандартной восточнославянской модели: к основе прозвища прибавили суффикс принадлежности -ов. В буквальном смысле Карандашов — «сын Карандаша», то есть потомок того самого мастера или торговца. Эта модель в XVI–XVII веках была самой распространённой при закреплении фамилий у крестьян, мещан и служилых людей.

Важная деталь: карандаш как пишущий предмет известен в России с XVII века, но массовое производство наладили только при Петре I. Значит, прозвище Карандаш и фамилия Карандашов могли появиться не раньше конца XVII — начала XVIII века. Фамилия могла возникнуть в среде ремесленников, мастеровых или купцов, торговавших письменными принадлежностями.

Стоит отличать фамилию Карандашов от однокоренной Карандашев: вторая образована от той же основы, но с другим суффиксом (-ев), что указывает на иную фонетическую адаптацию прозвища в говорах. Встречается фамилия преимущественно в центральных и южных регионах России, что подтверждает её относительно позднее происхождение — в эпоху активного заселения этих земель.