Фамилия Несвирская образована от прозвища Несвирский, которое, скорее всего, восходит к названию озера Свирь. Это одно из озер, расположенных на территории Вилейского и Мядельского районов Минской области. Кроме того, здесь находится одноименный поселок. Не исключено также, что прозвище Несвирский ведет свое начало от названия реки Свирь, протекающей по территории Ленинградской области. Сами топонимы, по мнению исследователей, связаны с литовским глаголом svirinti, то есть «наклонять». Есть также предположение, что названия происходят от украинского слова «свирка», то есть «ель». Таким образом, вполне вероятно, что прозвище Несвирский получил человек, приехавший в одно из этих мест из другого района.