Фамилия Стародворские принадлежит к пласту славянских родовых именований, образованных от названия места жительства. В основе лежит сочетание «старый двор» — так в старину называли либо обжитое, давно существующее поселение, либо усадьбу с хозяйственными постройками, стоявшую на отшибе. Предок носителей этой фамилии, скорее всего, происходил из села или деревни с названием Старый Двор, а прозвище Стародворский закрепилось за ним как указание на родину: «тот, кто из Старого Двора». Такой способ именования был широко распространён у восточных, западных и южных славян, и в ономастике этих народов можно найти множество параллелей.

Суффикс -ск- в фамилии указывает на её «географическое» происхождение. Если фамилии на -ов/-ин чаще отвечали на вопрос «чей?» и связывались с отцом или главой семьи, то фамилии на -ский/-цкий изначально отвечали на вопрос «откуда?» и закреплялись за дворянами, шляхтой или просто выходцами из определённой местности. В русской традиции такие фамилии были особенно характерны для служилого сословия, а в польской и белорусской среде — для шляхты, что делает фамилию Стародворские возможным маркером дворянского или, по крайней мере, привилегированного происхождения предков.

Названия с корнем «двор» на славянских землях встречаются повсеместно: от Польши до Украины и России. Поэтому точную географию предков Стародворских без дополнительных исследований не установить. Само слово «двор» в древности имело более широкий смысл, чем сейчас: это не только огороженный участок при доме, но и крестьянское хозяйство в целом, и даже административная единица. «Старым» такой двор называли, когда рядом возникал новый посёлок, или когда речь шла о родовом гнезде, перешедшем от отца к сыну.

Встречаются и другие варианты написания фамилии — Стародворский, Стародворская, Стародворцевы. Последняя форма, с суффиксом -ев, могла возникнуть от прозвища Стародворец — так называли человека, живущего на старом дворе или владеющего им. В этом случае фамилия отвечала бы на вопрос «чей?» и означала «сын Стародворца».

Именования, образованные по той же модели, что и фамилия Стародворские, широко представлены в ономастике славян, что подтверждает её древние корни и органичность для славянской культуры. Однако процесс формирования каждой отдельной фамилии мог быть длительным и не всегда имел привязку только к одной местности: носители могли переселяться, а фамилия — закрепляться за их потомками уже на новом месте. Поэтому окончательно говорить о точном времени и месте происхождения фамилии Стародворские можно лишь на основании серьёзных генеалогических исследований, включающих работу с метрическими книгами, ревизскими сказками и писцовыми документами.