Фамилия Дворскова — женская форма, а её мужской вариант, Дворсков, образован по редкой для русских фамилий модели. Вместо привычного суффикса -ов или -ин здесь использован суффикс -ск-ов, что сразу выдаёт нестандартное происхождение. Чаще всего фамилии на -сков встречаются не у крестьян, а у выходцев из духовенства или мещан, где географическая привязка к названию села или города была важнее, чем прозвище по отцу.

Основа фамилии — слово «двор». Но не в значении «усадьба», а скорее в значении «двор» как хозяйственное строение или место. В русских говорах «двор» мог означать и крестьянский дом со всеми постройками, и даже целое хозяйство. Отсюда — прозвище Дворской или Дворский: так могли называть человека, который жил при дворе, работал дворником, либо того, кто владел большим двором. В некоторых регионах «дворским» называли управителя, ключника или даже старосту.

Суффикс -ск- в основе указывает на то, что первоначальное прозвище звучало как Дворской — то есть «придворный», «дворовый». Затем к нему добавили фамильный суффикс -ов, что дало форму Дворсков. Такая двойная суффиксация — явление нечастое: она встречается в фамилиях вроде Городсков, Сельсков, и почти всегда указывает на происхождение из среды, где фамилии давали не по отцу, а по месту жительства или роду занятий.

Версия о том, что фамилия могла произойти от названия населённого пункта вроде Дворск или Дворское, тоже имеет право на существование, но такие топонимы крайне редки. Правдоподобнее выглядит связь с прозвищем по роду службы: предок носителя фамилии мог быть дворским человеком — то есть состоять при барском или княжеском дворе, выполнять хозяйственные или административные поручения. В этом случае фамилия Дворсков — одна из тех, что хранит память о социальном статусе предка, а не о его личном имени или ремесле.