Фамилия Мадорская — женская форма, но в русской традиции происхождение фамилии всегда разбирают по мужскому варианту, Мадорский. Это типичная «географическая» фамилия, образованная по модели «название места + суффикс -ск-». Такие фамилии в основном принадлежали дворянам (по названию поместья) или духовенству (по названию села или прихода), реже — выходцам из городов и местечек.

Основа фамилии — топоним Мадоры или Мадор. Наиболее вероятная привязка — к населённым пунктам на территории современной Беларуси и Польши. Известна деревня Мадоры (Madory) в Гродненской области, а также несколько хуторов с похожим названием в исторической Литве. Если предок получил фамилию от названия такого села, то Мадорский — типичный пример «помещичьей» фамилии: человек владел деревней Мадоры или был оттуда родом.

Есть и другая, менее очевидная версия. В польском языке слово «mądry» означает «умный», и фамилия Mądorski встречается у поляков. Однако в русском написании «Мадорский» ударение падает на второй слог, что отдаляет её от польского прототипа. Скорее всего, это результат адаптации польской фамилии в русской среде — без «ё» и с твердым «д».

Суффикс -ск- указывает на то, что фамилия сформировалась не в крестьянской среде (у крестьян чаще встречаются -ов/-ин), а среди служилого дворянства или духовенства. В XIX веке семинаристам часто давали фамилии по названиям церковных праздников или сёл, и Мадорский мог появиться именно так — по селу, где стояла церковь.

Встречаемость фамилии невысокая, что подтверждает её локальное происхождение. Носители Мадорских живут в основном в западных регионах России и в Беларуси, что совпадает с географией возможного топонима.