Фамилия Ганжева — женская форма, а её носительниц нередко ставят в тупик вопросы о происхождении. Мужской вариант — Ганжев. В основе лежит прозвище или нецерковное имя Ганжа, и вот тут начинается главная развилка.

Самая вероятная версия отсылает к южнорусским и украинским говорам. Слово «ганжа» там означало «ссора», «вздор», «сплетня», а в некоторых диалектах — «беспокойный человек». Прозвище Ганжа могли дать сварливому, неуживчивому соседу или, напротив, тому, кто постоянно оказывался в центре пересудов. Фамилии на -ев, а не на -ин, указывают, что основа оканчивалась на мягкий согласный или шипящий: Ганж-а → Ганж-ев. Именно эта модель преобладает в южнорусских и украинских фамилиях, что косвенно подтверждает географию корня.

Вторая версия, менее распространённая, связывает Ганжу с тюркскими языками. В некоторых тюркских наречиях «ганжа» — «сокровище», «клад» (от персидского «гандж»). Если предок был родом из регионов активных контактов с тюрками — например, Поволжья или Кавказа, — прозвище могло означать «богач» или «тот, кто нашёл клад». Однако в русской ономастике эта гипотеза слабее: фамилия Ганжева почти не встречается в татарских или башкирских списках, а её ареал тяготеет к славянским областям.

Фамилия редкая и не имеет широко известных дворянских корней. В дореволюционных записях Ганжевы фигурируют в основном как крестьяне и мещане Курской, Воронежской и Харьковской губерний. Суффикс -ев здесь не указывает на принадлежность барину, а просто оформляет отчество: «сын Ганжи». Встречается и вариант написания с буквой «ж» без смягчения — Ганжов, но он ещё реже.

Современные носители фамилии могут услышать в свой адрес ассоциации с марихуаной (от «ганжа» — конопля), но это позднее заимствование из индийского сленга, проникшее в русский язык не раньше XX века. К происхождению фамилии оно прямого отношения не имеет, хотя и добавляет путаницы.