Фамилия Каразей ведет свое начало от топонима Каразей — так называется село, расположенное в Куйтунском районе Иркутской области. Вполне вероятно, что основатель рода Каразей был уроженцем этого населенного пункта. Сам же топоним, предположительно, восходит к чеченскому слову «караз» — «столб для привязывания лошадей». Возможно, что эта местность была пристанищем многих путником, что и стало поводом к образованию топонима Каразей.