Фамилия Брезовская — типичная «географическая» фамилия, которую давали человеку по названию местности, где он жил или которой владел. Её основа — топоним, а суффикс -ск- указывает на связь с местом: буквально «тот, кто из Брезова (или Бржезово)».

Самая вероятная версия связывает фамилию с болгарским городом Брезово в Пловдивской области. Однако есть и альтернатива — белорусская деревня Бржезово в Витебской области. Оба названия восходят к одному корню: болгарское «бреза» или польское brzoza означают «берёза». То есть в основе лежит не личное прозвище, а указание на берёзовую местность — рощу, урочище или селение при них.

В Российской империи фамилия была известна в дворянской среде. В исторических документах упоминается род Брезовских, записанный в VI часть родословной книги Смоленской губернии — это раздел для древнего дворянства, чьё происхождение восходит к допетровским временам. Представители рода занимали высокие государственные посты, а их герб внесён в 5-ю часть «Общего гербовника дворянских родов Всероссийской империи».

Таким образом, носитель фамилии Брезовская, скорее всего, происходит из семьи, владевшей имениями в болгарских или западных русских землях, а сама фамилия буквально означает «берёзовая» — по характерному дереву, давшему имя поселению.