Фамилия Пазерский — редкий случай, когда географическая основа почти наверняка перевешивает прозвищную. Модель образования прозрачна: суффикс -ский указывает на связь с местом, а корень Пазер- отсылает к названию населённого пункта. Скорее всего, предок носителя фамилии был либо выходцем из такого места, либо владел землёй в нём.

Наиболее вероятный кандидат — Пазеры, деревня в Ленинградской области (исторически — Санкт-Петербургская губерния, Лужский уезд). Название финно-угорского происхождения, предположительно от «pasuri» (пастух) или от личного имени. В таком случае Пазерский — типичный «географический» вариант, как Озерский, Горский, но с более узкой локализацией. Встречаются также топонимы Пазерки (Псковская область) и Пазерята (Кировская область), но именно Пазеры — самый известный и задокументированный вариант.

Менее правдоподобна версия, что фамилия образована от прозвища Пазер. В русских говорах «пазить» значит «делать пазы, долбить», так что Пазером могли назвать плотника, работающего по дереву, или бондаря. Однако суффикс -ский для прозвищных фамилий нехарактерен: крестьянин скорее получил бы Пазеров, а Пазерский — это уже признак либо дворянского рода (по владению имением), либо духовного сословия (семинарская фамилия). В духовных училищах фамилии часто давали по названиям сёл, где служил отец, так что священник из села Пазеры мог получить фамилию Пазерский.

Таким образом, фамилия Пазерский — это осколок географического названия, скорее всего, северо-западного происхождения. Носитель фамилии, вероятно, потомок либо помещика, либо священника из Лужского уезда. Встречаемость фамилии крайне низкая, что подтверждает её узкую локальную привязку: большинство Пазерских, по данным переписей, до сих пор живут в Ленинградской области и Санкт-Петербурге.