Фамилия Рыбов — редкий случай, когда в основе лежит не прозвище или профессия, а прямое название животного, но с необычным суффиксом. Большинство «рыбных» фамилий в России оканчиваются на -ин: Рыбин, Рыбкин, Рыбников. Форма Рыбов образована по другой модели — с патронимическим суффиксом -ов, который обычно присоединяли к основам на твёрдый согласный. Здесь он приставлен к основе «рыб-», что сразу говорит о нестандартном происхождении.

Скорее всего, перед нами не прозвище Рыба, а прозвище Рыб — в краткой, усечённой форме. В русских говорах так могли называть человека за сходство с рыбой: молчаливого, холодного, скользкого в общении или, наоборот, искусного рыбака. Суффикс -ов превращал такое прозвище в отчество: «чей?» — Рыбов, то есть сын Рыба. Другой вариант — происхождение от неканонического имени Рыб, которое изредка встречалось в дохристианской Руси. Такие имена давали по названиям животных и птиц (Волк, Медведь, Сом), и Рыб могло быть одним из них, хоть и редким.

Географически фамилия тяготеет к северным и центральным регионам России, где рыболовство было основным промыслом. Встречается она несравнимо реже, чем Рыбин, что подтверждает её локальный характер. В некоторых случаях Рыбов могла возникнуть как вариант написания фамилии Рыбовъ — до реформы орфографии 1918 года твёрдый знак на конце не менял звучания, а в документах иногда путали -ов и -ев.

Социальный состав носителей неоднороден. Среди Рыбовых были и крестьяне, и мещане, и купцы. Например, в переписных книгах XVII века встречаются крестьяне Рыбовы в Вологодской губернии, а в XIX веке — купеческая династия Рыбовых в городе Кунгуре, торговавшая рыбой. Прямой связи между фамилией и родом занятий, впрочем, нет: Рыбов мог стать и тот, кто рыбу ловил, и тот, кто её продавал, и тот, кого за характер прозвали «Рыбом».