Фамилия Маргулин — одна из тех, где очевидная основа не гарантирует однозначного толкования. Внешне она выглядит как типичная еврейская фамилия, образованная от женского имени, и это первая, самая распространённая версия. В её основе лежит имя Маргула (Маргуля) — уменьшительная форма от Маргарита (от греческого «маргаритес» — жемчужина). Суффикс -ин указывает на принадлежность: «чей?» — Маргулин, то есть сын или потомок Маргулы. Такая модель (женское имя + -ин) характерна для ашкеназских фамилий Восточной Европы, особенно на территориях бывшей Речи Посполитой и Российской империи.

Однако есть и альтернативная, менее очевидная версия, которая связывает фамилию с профессиональным прозвищем. В еврейской среде было распространено слово «марголь» (или «маргул») — так называли торговца, барышника, а в некоторых диалектах — просто «ловкого, ушлого человека». В этом случае прозвище Маргул давалось по роду занятий или по характеру, а фамилия Маргулин означает «сын Маргула». Эта гипотеза правдоподобна, но менее популярна, чем «жемчужная», потому что имена-прозвища от названий профессий чаще оформлялись суффиксом -ович/-евич или -ский, а не -ин.

Фамилия закрепилась в основном в черте оседлости: в Беларуси, на Украине, в Польше. Встречаются варианты написания Маргулин и Маргулинн (двойное «н» — орфографическая ошибка или позднее искажение в документах). Стоит заметить, что в отличие от фамилий типа Абрамсон или Беркович, где прямо указано отчество, Маргулин не имеет патронимического суффикса -сон/-зон, что как раз и указывает на модель «от имени матери» или «от прозвища». Сравните с однокоренной фамилией Маргулис — там суффикс -ис указывает на греко-славянское влияние, и это уже совсем другая история. Маргулин же — фамилия, которая с высокой вероятностью говорит о том, что предка звали Маргула, и это имя могло быть как ласковым домашним прозвищем, так и указанием на занятие.