Фамилия Виссонова — редкий случай, когда в основе лежит не имя и не ремесло в привычном смысле, а название экзотической и драгоценной материи. Виссон — это тончайшая белая (иногда золотистая) ткань, воспетая в Библии и античных источниках. Её состав до сих пор вызывает споры: одни исследователи считают, что это был особый лён (в греческом byssos — «полотно»), другие — «морской шёлк» из нитей моллюсков. В любом случае, виссон ценился на вес золота: из него шили одежды для первосвященников, фараонов и римских патрициев, а пару перчаток из такой ткани можно было сложить в скорлупу грецкого ореха.

Фамилия образована по стандартной русской модели: к основе Виссон добавили суффикс принадлежности -ов, а женский вариант получил окончание -а. Мужская форма — Виссонов. Такое окончание указывает, что фамилия закрепилась в среде, где было принято именовать главу семьи: «чей?» — Виссонов, то есть сын или потомок человека по прозвищу Виссон.

Прозвище, скорее всего, было профессиональным. Виссоном в старину могли прозвать купца, торговавшего дорогими тканями, или мастера, который работал с этим материалом. Вряд ли прозвище дали за любовь к роскошной одежде — слишком специфичен и редок сам предмет. Скорее, предок носителей фамилии имел дело с виссоном напрямую: привозил его из Византии или с Востока, шил из него или продавал. В русской ономастике такие «тканевые» фамилии единичны — это отличает Виссоновых от более частотных Кузнецовых или Поповых и делает фамилию своеобразным маркером занятий, связанных с дорогим импортом.