Фамилия Оливский — редкий случай в русском ономастиконе, и её происхождение почти наверняка не связано с оливковым деревом. Вопреки интуитивному ожиданию, корень здесь не латинский (oliva), а скорее всего польский или украинский. Фамилия образована по продуктивной модели с суффиксом -ский, который в восточнославянской традиции указывал на дворянское происхождение или на связь с географическим названием. Однако для фамилии Оливский географическая привязка неочевидна: на карте России и Украины нет известного топонима «Олива» или «Олив», который дал бы такую фамилию.

Более правдоподобная версия — происхождение от прозвища или имени. В польском языке слово «oliwa» означает «оливковое масло», но как прозвище могло закрепиться за торговцем маслом, содержателем постоялого двора с вывеской «Под оливкой» или просто за человеком с мягким, «маслянистым» характером. В украинском языке существует фамилия Олійник (от «олія» — растительное масло), и Оливский может быть её «облагороженной» формой: суффикс -ский нередко добавляли к простонародным прозвищам, чтобы придать им шляхетское звучание. Так, крестьянин или мещанин по прозвищу Олий (маслодел) при получении дворянства или при переходе в другую социальную группу мог стать Оливским.

Версия о происхождении от католического имени Олива (женская форма от Оливье) менее вероятна, но не исключена: в Польше и Беларуси фиксировались единичные случаи, когда фамилию давали по имени матери или по названию костёла. В любом случае, носители фамилии Оливский — это почти всегда потомки выходцев из западных губерний Российской империи: Волынской, Подольской, Гродненской. Встречается фамилия и у поляков, и у украинцев, и у белорусов, а после разделов Речи Посполитой — и у русских дворян, получивших её при переходе в православие. Сословно фамилия неоднородна: среди Оливских были как мелкопоместные шляхтичи, так и однодворцы, и духовенство.