Фамилия Ольвинская — редкий случай, когда в основе лежит не имя, не прозвище и не ремесло, а название античного города. Корень «Ольви-» отсылает к древнегреческой колонии Ольвия (греч. «счастливая», «богатая»), которая находилась на берегу Днепро-Бугского лимана, вблизи современного Николаева. Фамилия образована по типичной для дворянских и духовных фамилий модели с суффиксом -ск-: Ольвинский (мужской вариант) и Ольвинская (женский). Такое окончание указывает на географическое или топонимическое происхождение — предок мог получить фамилию по месту жительства или службы, связанному с этим древним городищем.

Скорее всего, фамилия искусственная, семинарская. В XVIII–XIX веках в духовных академиях и семинариях будущим священникам нередко давали «благозвучные» фамилии, образованные от греческих и латинских слов, названий античных городов или библейских топонимов. Ольвинский могло означать «выходец из Ольвии» или «относящийся к Ольвии». В среде духовенства такие фамилии подчеркивали образованность и связь с классической древностью. Встречается и версия, что фамилия могла возникнуть у людей, живших неподалеку от руин Ольвии или владевших землями на месте раскопок, но это менее вероятно: массовые археологические исследования там начались уже в XIX веке, когда фамилия могла существовать.

Словообразовательно фамилия проста: корень Ольви- (от Ольвия), суффикс принадлежности -ин- (в мужском варианте Ольвин) и топонимический суффикс -ск-. Женская форма Ольвинская — это притяжательное прилагательное, отвечавшее на вопрос «чья?»: жена или дочь Ольвинского. В отличие от фамилий на -ов/-ев и -ин, которые чаще встречались у крестьян и мещан, фамилии на -ский/-ская исторически тяготели к дворянству и духовенству, особенно в южных и центральных губерниях Российской империи.

Среди однокоренных фамилий — Ольвинский, Ольвин, Ольвинцев. Последняя, с суффиксом -ев, могла означать «сын Ольвинца» и возникнуть в среде казачества или посадских людей, где античная тематика встречалась реже. Но Ольвинская — форма более книжная, «учёная». Носительница этой фамилии с большой вероятностью могла быть потомком священника, учителя гимназии или мелкопоместного дворянина, получившего фамилию в честь древнего полиса.