Фамилия Воржев — типичный пример «географической» фамилии, которую давали по месту жительства или происхождения. Её основа — топоним Воржа. Это село в Ростовском районе Ярославской области, стоящее на берегу одноимённой реки. Модель образования проста: к названию местности на -а присоединили патронимический суффикс -ев, и получилось указание на человека «из Воржи» или «воржевского».

Сама Воржа — место с долгой и необычной историей. В XVI веке её жители ловили рыбу в озере для московского дворца, то есть село было дворцовым, кормившим царский стол. В Смутное время, в 1608 году, польские отряды разорили соседнее село Гродичи, но Воржу не тронули. В память об этом событии ростовский митрополит Филарет Никитич Романов (отец будущего царя Михаила Фёдоровича) в 1609 году поставил в селе деревянную Покровскую церковь. К XIX веку рыбаки превратились в огородников — основным занятием воржевцев стало огородничество.

Происхождение самого названия «Воржа» спорно. По одной версии, его связывают с глаголом «ворожить»: якобы здесь жили языческие колдуны. Версия красивая, но лингвистически слабая: слово «ворожить» дало бы скорее основу «Ворож-», а не «Ворж-». Правдоподобнее выглядит гипотеза, что село стояло среди ржаных полей, и название пошло от слова «рожь» (через диалектное «воржа» или «оржа»). В любом случае, основатель фамилии Воржев — человек, который либо родился в этом селе, либо владел там землёй, либо переехал оттуда, и за ним закрепилось прозвище Воржа. Со временем оно превратилось в фамилию, которая и сейчас указывает на родовую связь с этим ярославским уголком.