Фамилия Каразев — редкий пример, где суффикс -ев идёт не от отчества, а от прозвища, завязанного на цвет. Основа «караз» в русских говорах означала «карий», то есть тёмно-коричневый, почти чёрный. Чаще всего так называли человека с карими глазами или смуглой кожей. В некоторых диалектах «каразой» могли назвать и лошадь тёмной масти, так что прозвище иногда переходило на конюха или пастуха, работавшего с такими животными.

В словообразовании здесь прямая модель: прозвище Караз → Каразев — «сын или потомок Каразы». Суффикс -ев, а не -ов, указывает на то, что основа оканчивалась на мягкий согласный или шипящий (в данном случае на -з). Это типично для южнорусских и украинских говоров, где фамилии с таким окончанием встречаются чаще, чем на севере.

Географически фамилия тяготеет к Черноземью и Нижнему Поволжью. В дореволюционных списках однодворцев и казаков Каразевы встречаются в Воронежской и Саратовской губерниях. Это намекает на то, что предки могли быть служилыми людьми — сторожевыми казаками или крестьянами, которые несли пограничную службу. Прозвище Караз в таком контексте могло закрепиться за одним человеком и передаться потомкам как фамилия, без изменений.

В словаре Б. Унбегауна «Русские фамилии» фамилия Каразев не упоминается, но её структура полностью соответствует описанной модели отпрозвищных фамилий на -ев. Спорных версий здесь немного: иногда «караз» путают с тюркским «кара» — чёрный, но русская огласовка с з на конце говорит о местном, диалектном происхождении, а не о прямом заимствовании.

Так что Каразев — это фамилия, которая прямо говорит о внешности: предок был кареглазым или темноволосым. Никакой тайны, но зато точная примета из прошлого.