Фамилия Воржев образована от топонима Воржа — село в Ростовском районе Ярославской области на берегу реки Воржи. В XVI веке в Ворже жили рыбаки, ловившие в озере рыбу для московского дворца. В 1608 году польские отряды разорили соседнее село Гродичи, но Воржу оставили совершенно нетронутой. В память этого события ростовский митрополит Филарет Никитич Романов построил в Ворже в 1609 г. деревянную церковь во имя Покрова Богородицы. В XIX веке основным занятием жителей села было огородничество. Сам топоним, по некоторым версиям, произошел от глагола «ворожить», чем занимались жившие здесь языческие колдуны. Согласно другой гипотезе, село располагалось среди полей, засеянных рожью, за что и получило название — Воржа. Вероятно, основатель фамилии был уроженцем или жителем села Воржа. В результате, потомок человека, обладающего прозвищем Воржа, со временем получил фамилию Воржев.