Фамилия Ворса — редкий случай, когда прозвище почти без изменений стало наследственным именем. В её основе лежит нарицательное «ворса»: волос, пушок или шерстка на тканях — на сукне, бархате, на валяном товаре, то есть пушистый, шерстистый материал. Человек, получивший такое прозвище, мог быть связан с тканями напрямую: купец, торговавший сукном и бархатом, или портной, работавший с ворсистыми материалами. Прозвище могло относиться и к внешности — обладателю пушистых волос или бороды, хотя текстильная версия выглядит убедительнее, учитывая, что слово «ворса» в первую очередь было термином ремесленников.

Модель образования фамилии проста: прозвище Ворса перешло в фамилию без добавления типичных суффиксов -ов, -ев или -ин. Такая бессуффиксная форма встречается реже и обычно указывает на раннее закрепление фамилии, когда прозвище ещё не успело обрасти патронимическим окончанием. В документах встречается упоминание от 1545 года о крестьянине Жабенского погоста Ивашке Ворсе — это одно из самых ранних свидетельств бытования прозвища в Новгородских землях. Жабенский погост находился на территории современной Новгородской области, что даёт географическую привязку: северо-западные регионы Руси могли быть исходной территорией распространения фамилии.

Сравнение с однокоренными фамилиями — Ворсов, Ворсин — показывает, что все они восходят к одному источнику, но разошлись в словообразовании. Ворса осталась архаичной формой, тогда как более поздние варианты добавили суффиксы, привычные для русского уха. Сословная принадлежность первых носителей, судя по документу XVI века, была крестьянской, хотя прозвище могло возникнуть и в среде торговцев или ремесленников — крестьянин Ивашка мог унаследовать его от отца-портного.