Фамилия Рагузовы почти наверняка произошла от прозвища Рагоза, а не от географических названий. Слово «рагоза» в старых русских говорах значило «ссора, брань, свара». Прозвище Рагоза закреплялось за человеком сварливым, неуживчивым, любителем поспорить, а в тверских говорах так могли назвать и пустослова, болтуна. Модель образования простая и типичная для русских фамилий: прозвище Рагоза, указывавшее на черту характера или манеру поведения, превратилось в отчество «Рагузов сын», которое со временем закрепилось как фамилия.

У слова «рагоза» есть и второе, «растительное» значение — так в некоторых областях называли тростник или камыш. Поэтому существует версия, что прозвище мог получить человек, живший в зарослях камыша у воды, или тот, кто занимался заготовкой тростника. Эта гипотеза менее вероятна для характеристики человека, но вполне возможна как указание на место жительства. В любом случае, прозвище возникло в народной среде и отражало либо характер предка, либо его бытовое окружение.

Версия о происхождении от названия города Рагуза (так раньше называли итальянский Дубровник, а одноименный город есть в Сербии) выглядит сомнительной. Для русского крестьянина или посадского человека, среди которых и формировались подобные фамилии, связь с далёким адриатическим топонимом маловероятна. Скорее всего, эта гипотеза появилась из-за внешнего сходства слов, а не из реальной исторической связи.

Что касается написания: в корне фамилии пишется «а», хотя проверочное слово «рагоза» тоже имеет «а» в первом слоге. Ударение в фамилии чаще всего падает на второй слог — Рагýзов. Суффикс -ов указывает на принадлежность к роду: потомок человека по прозвищу Рагоза.

Точное время возникновения фамилии назвать сложно — такие прозвищные фамилии массово закреплялись в России в XV–XVII веках, когда у крестьян и служилых людей появлялись наследственные именования. Фамилия Рагузовых — живой след той эпохи, когда личная характеристика человека становилась именем его семьи на поколения вперёд.