Фамилия Жемчужина образована от прозвища Жемчуг. В основе лежит название драгоценного камня, и такое прозвище могли дать человеку по роду занятий: скорее всего, торговцу жемчугом или ювелиру, который с ним работал. Реже прозвище могло иметь символический смысл — так могли назвать чистого, светлого или необычайно ценимого в семье человека.

С точки зрения словообразования фамилия Жемчужина — это притяжательное прилагательное с суффиксом -ин, указывающим на принадлежность конкретному лицу: «чей?» — Жемчужин, а в женском роде — Жемчужина. Такая модель в русских фамилиях характерна для прозвищ и имён, оканчивающихся на -а/-я, но в данном случае суффикс -ин присоединился к основе «жемчуг», изменившейся в «жемчуж-» (чередование г/ж). Форма Жемчужина — это исторически женский вариант фамилии, который закрепился в документах за женщинами, но в современном употреблении может принадлежать и мужчине, если фамилия не склоняется или передалась по материнской линии.

Ономастические источники подтверждают древность этого корня в русской антропонимии. В записях С. Б. Веселовского упоминаются: Жемчугин Иван, крестьянин (1564 г., Новгород); Прокофий Жемчужник, крестьянин (1495 г., Новгород); Иван Жемчужников, дворянин, пристав у черкасских князей (1584 г.). Как видим, уже в XIV–XV веках существовали разные варианты фамилий от той же основы: Жемчугин, Жемчужник, Жемчужников. Фамилия Жемчужина — одна из ветвей этого гнезда, менее распространённая, но сохранившая прямую связь с прозвищем через уменьшительно-ласкательный суффикс -ин, который здесь скорее указывает на принадлежность, а не на размер.

Географически фамилия Жемчужина чаще встречается в центральных и северо-западных регионах России, что совпадает с ареалом новгородских записей XVI века. Встречаются также единичные случаи бытования фамилии у старообрядцев, где прозвища по драгоценным камням иногда давали как охранительные имена.