Фамилия Ворсова, скорее всего, образована от прозвища или нецерковного имени Ворс. В основе лежит слово «ворс» — ворсинка, короткий волос, пушок на ткани или коже. Прозвище Ворс могли дать человеку за мягкий, пушистый характер, за необычную растительность на лице (например, редкую и мягкую бороду) или, наоборот, за придирчивость, склонность «цепляться», как ворсинки. Менее вероятна, но возможна связь с глаголом «ворсить» — нагонять ворс на сукно, то есть заниматься обработкой тканей.

Словообразовательная модель проста: суффикс -ов указывает на принадлежность («чей?»), то есть Ворсова — дочь или жена человека по прозвищу Ворс. В мужском варианте фамилия звучит как Ворсов. Такие фамилии на -ов типичны для северных и центральных областей России, где было распространено прозвищное именование.

В ономастике фамилия Ворсов/Ворсова не относится к числу частых. В словаре Б. Унбегауна «Русские фамилии» подобные образования от названий частей тела или материалов встречаются, но конкретно Ворсов не выделяется в отдельную статью, что говорит о его локальном или позднем происхождении. Вероятнее всего, фамилия возникла в среде крестьян или ремесленников, занимавшихся суконным делом, — в русских говорах «ворсовальщик» означало мастера, наводящего ворс на ткани.

Интересная деталь: фамилия Ворсова может иметь диалектную основу. В некоторых говорах «ворс» называли не только ворсинку, но и мелкую соринку, пылинку. Тогда прозвище могло получить человек неопрятный или, напротив, дотошный, «выискивающий соринки». Также не стоит путать её с фамилией Ворсина, образованной от другого слова — «ворса» (волос), хотя они звучат похоже.

Таким образом, предки современных Ворсовых — скорее всего, жители северных или центральных губерний, возможно связанные с текстильным ремеслом, а сама фамилия несёт в себе бытовую, прозвищную характеристику конкретного человека.