Фамилия Рубинский образована по модели, характерной для польско-украинских и белорусских земель, где к основе прозвища добавляли суффикс -ский. Исходное прозвище Рубин восходит к названию драгоценного камня красного или розового цвета, разновидности корунда. Так нарекли человека, и, скорее всего, не за внешность, хотя красный цвет лица или яркая одежда тоже могли сыграть роль. Чаще прозвище Рубин закреплялось за ювелиром, торговцем самоцветами или резчиком камней — людьми, чей труд напрямую связан с этим минералом.

Суффикс -ский в составе фамилии указывает на связь с местностью: так могли назвать выходца из селения Рубино или Рубиново, которых в западных губерниях Российской империи было немало. В этом случае фамилия отвечала не на вопрос «чей ты», а на вопрос «откуда ты». Такая словообразовательная модель типична для шляхты и городского сословия, тогда как крестьяне центральной России чаще получали фамилии с суффиксами -ов или -ин.

Вторая версия, менее вероятная, связывает основу с личным именем Рувим, которое в просторечии звучало как Рубин. Имя Рувим носил один из двенадцати сыновей Иакова, и в еврейской традиции оно было распространено, но у славян встречалось редко. Если допустить эту гипотезу, фамилия Рубинский оказывается отчеством, переоформленным по польскому образцу, но тогда мы ожидали бы форму Рубинович, а не Рубинский. Поэтому версия с прозвищем по ремеслу или внешности выглядит убедительнее.

Потомок человека с прозвищем Рубин со временем получил фамилию Рубинский. Носители этой фамилии встречаются в основном на территории современной Украины, Беларуси и в западных областях России, что подтверждает её западное происхождение. В документах XIX века фамилию фиксировали у мещан и духовенства, но не у крепостных — ещё один довод в пользу городского или шляхетского корня.