Фамилия Дворовой (а также её варианты, вроде Дворовые) прямо указывает на социальное положение предка. В основе лежит слово «дворовой» — так в России называли крестьянина, который работал и жил при барской усадьбе, то есть принадлежал к дворне. В отличие от крестьян, обрабатывавших землю, дворовые выполняли обязанности прислуги, кучеров, поваров, конюхов — обслуживали господский дом и двор.

Фамилия образована по типичной для русских фамилий модели: прозвище Дворовой становилось наследственным, закрепляясь за детьми и внуками. В данном случае суффикс -ой (как в фамилиях Толстой, Босой) указывает на прилагательное, которое со временем перешло в разряд фамилий. Такая модель встречается реже, чем фамилии на -ов или -ин, что делает Дворового интересным примером словообразования.

В исторических документах фамилия фиксируется в центральных и южных губерниях России — там, где помещичье хозяйство было развито особенно сильно. Встречается она и в украинских, и в белорусских землях, где слово «дворовий» означало то же самое.

Иногда фамилию путают с однокоренной Дворников, но это разные прозвищные основы. Дворовой — указание на принадлежность к определённому сословию, а не на профессию. Дворовые люди составляли значительную часть крепостного населения, и фамилия могла закрепиться за целой семьёй, жившей при барском дворе на протяжении нескольких поколений.