Фамилия Рыловцев — редкий пример, где географическая привязка спорит с прозвищной основой. Её ядро — «рыл» — сразу вызывает в памяти глагол «рыть» или существительное «рыло». Но не спешите записывать предка в землекопы или обладателя крупного носа: в русских говорах слово «рыло» имело и другие значения. В южных и центральных областях так называли соху или плуг — орудие пахаря. Тогда Рыловцев — потомок того, кто работал с «рылом», то есть пахарь, крестьянин.

Суффикс -евц- в этой фамилии — ключ к её происхождению. В отличие от массовых -ов/-ев, модель на -евц- (а также -овц-) типична для прозвищ, которые закрепились за человеком по отцу: Рыловец — сын Рыла. А уже от Рыловца пошла фамилия Рыловцев. Такая цепочка встречается реже, чем прямое прибавление -ов, и говорит о том, что прозвище Рыло было устойчивым, передалось детям, а уж внуки стали Рыловцевыми. В говорах XVII века фиксируется и прозвище Рыло — его носили люди разного сословия, от крестьян до служилых.

Есть и вторая версия, менее вероятная, но не исключённая: связь с топонимом. В России есть несколько мелких речек и урочищ с названием Рыловка, Рылово. Если предок переселился оттуда, его могли прозвать Рыловец — «выходец с Рыловки». Однако для фамилии Рыловцев эта версия слабее: суффикс -ец в прозвищах переселенцев чаще давал фамилии на -ов без дополнительного -евц- (Рылов, а не Рыловцев). Так что прозвищный путь надёжнее.

Фамилия редкая, в современных справочниках почти не встречается. По данным переписей, её носители жили в основном в Поволжье и на юге России — в регионах, где слово «рыло» в значении «соха» было в ходу. Сословно предки, скорее всего, были государственными или помещичьими крестьянами, реже — однодворцами. В дворянские роды Рыловцевы не входили.