Фамилия Ворожев ведет свое начало от прозвища Ворож, которое восходит к аналогичному нарицательному. Ворож – это тот, кто ворожит, то есть чародей, знахарь. В народном сознании знахарство часто сближалось с ремеслом, поэтому можно сказать, что прозвище Ворож относится к так называемым «профессиональным» именованиям, указывающим на род занятий предка. Так и прозвище Ворож закрепилось за человеком в качестве наиболее употребительного именования, а со временем легло в основу фамилии Ворожев. Таким образом, потомок человека, обладающего прозвищем Ворож, со временем получил фамилию Ворожев.