Фамилия Карандаевы — редкий случай, когда корень слова вызывает у лингвистов сразу несколько версий, и все они ведут на Восток. Основа фамилии — личное имя или прозвище Карандай. Первая и самая распространённая гипотеза связывает его с древнетюркским словом «каранда» — «злой», «жестокий». На первый взгляд странно давать ребёнку такое имя, но в традиционной культуре это был оберег: считалось, что имя с негативным значением отпугнёт злых духов и отведёт несчастья. Родители, называя сына Карандаем, надеялись, что на самом деле он вырастет добрым и великодушным — прямо противоположным тому, что говорило имя.

Вторая версия — прозвищная. Она выводит Карандая из тюрко-татарского «карынды» — «пузатый», «толстобрюхий». В этом случае прозвище давали по внешности: основатель рода был упитанным человеком с заметным животом. В восточной культуре полнота и крупное телосложение часто символизировали богатство, сытость и лёгкую жизнь, так что прозвище могло быть скорее уважительным, чем обидным.

Словообразовательная модель проста и типична для русских фамилий: к основе Карандай прибавили патронимический суффикс -ев, который указывает на принадлежность («чей?» — сын Карандая). Фамилия закрепилась в форме Карандаевы, хотя в документах встречаются и варианты Карандаев (без окончания множественного числа, когда речь об одной семье).

Безусловно, фамилия Карандаевы — заметный памятник восточной культуры, но окончательно говорить о точном времени и месте её возникновения можно только на основании серьёзных генеалогических изысканий. Процесс формирования фамилии мог быть длительным и не всегда привязан к одной местности: носители фамилии встречаются и в Поволжье, и в центральных регионах России, что говорит о давних миграциях и смешении тюркских и славянских родов.