Фамилия Дрижова — редкий случай, когда географическая привязка почти наверняка перевешивает все прочие версии происхождения. Её основа — не славянское слово, а топоним: название города Дриза (ныне Верхнедвинск в Витебской области Беларуси) или реки Дрисса, правого притока Западной Двины. Человек, переехавший оттуда, получал прозвище Дриз, Дрижа или Дриж — по месту прежнего жительства. Такая модель образования фамилий через суффикс -ов/-ев типична для восточнославянской ономастики: она отвечает на вопрос «чей?» — то есть сын или потомок Дрижа.

Суффикс -ов в фамилии Дрижова указывает на её принадлежность к мужскому роду в исходной форме (Дрижов), а окончание -а — на женскую форму, распространённую в русской традиции для обозначения жены или дочери носителя фамилии. Сама основа «Дриж» могла возникнуть как усечение от «Дрижа» или «Дриз» — местного прозвища выходца с Дриссы. В белорусских и псковских говорах фамилии с подобной основой встречаются, но в целом Дрижова — фамилия очень редкая, нечастотная даже в Витебской области.

Менее вероятна, но не исключена версия от прозвища, связанного с диалектным глаголом «дрижать» (дрожать, трястись). В этом случае прозвище могло закрепиться за человеком с заметной дрожью в голосе или походке. Однако для такой версии нет устойчивой словообразовательной цепочки: обычно прозвища от глаголов дают фамилии на -ин (Дрожин), а не на -ов. Поэтому топонимическое объяснение выглядит убедительнее.

Сословная принадлежность предков Дрижовых не определяется однозначно. Фамилия на -ов в XIX веке могла принадлежать как крестьянам, так и мещанам или духовенству — в зависимости от региона. Но если корень действительно связан с городом Дриза, то носители фамилии — потомки переселенцев из Полоцкого воеводства, которые могли быть как ремесленниками, так и крестьянами, ушедшими на новые земли.