Оно берет начало от нарицательного «ворса», которое имеет значение «волос, пушок или шерстка на тканях: на сукне, бархате, на валяном товаре, то есть пушистый, шерстистый материал». Можно предположить, что именование Ворса принадлежало купцу, продававшему ткани, или портному. В источниках можно найти упоминания от 1545 года о крестьянине Жабенского погоста Ивашке Ворсе.