Фамилия Рыльщиков образована от прозвища Рыльщик, и в её основе лежат две равноправные версии, которые ведут к совершенно разным занятиям предков. Первая связывает прозвище с украинским словом «рыля» или «рылей» — так называли старинный струнный инструмент, разновидность лиры (на Руси его чаще звали «рылей» или «лира»). В этом случае Рыльщиком могли прозвать бродячего музыканта-лирника либо мастера, который такие инструменты изготавливал. Вторая версия проще и лежит на поверхности: от глагола «рыть», то есть копать, делать в земле углубление. Тогда Рыльщиком называли человека, чья работа была связана с земляными работами, — например, того, кто рыл колодцы или канавы.

Если выбирать между версиями, вторая выглядит правдоподобнее для массового бытования фамилии. Прозвища от глагола «рыть» встречались в русских говорах повсеместно, а вот музыкальная «рыля» — слово узкорегиональное, юго-западное, и фамилия, образованная от него, скорее закрепилась бы в формах Рыленко, Рыльченко или Рылеев. Тем не менее полностью сбрасывать со счетов «музыкальную» версию нельзя: в южнорусских и украинских землях, где лира была инструментом странствующих слепых певцов, прозвище Рыльщик вполне могло возникнуть независимо.

Словообразовательная модель фамилии прозрачна: суффикс -ов указывает на принадлежность потомку человека с прозвищем Рыльщик, то есть буквально «сын Рыльщика». Это типичная патронимическая фамилия, которая застыла в форме притяжательного прилагательного. Суффикс -щик в основе говорит о роде занятий, что характерно для прозвищ, данных по профессии. Интересно, что фамилия не получила распространения в дворянской среде — это фамилия крестьянская или мещанская, и её носители, скорее всего, были простыми работниками: землекопами, колодезниками или, в редком случае, ремесленниками, делавшими музыкальные инструменты.

Сравнение с однокоренными фамилиями помогает увидеть картину шире. Рыльщиков соседствует с более частыми Рыловым, Рыльцевым, Рыльниковым. Рылов, например, восходит к прозвищу Рыло — так в старину могли назвать человека с крупными чертами лица или, в переносном смысле, настойчивого и «пробивного». Рыльников — от слова «рыльник», которое в некоторых говорах означало того же землекопа. На этом фоне Рыльщиков выделяется именно чёткой профессиональной привязкой: если другие фамилии могли быть образованы от внешности или характера, то эта почти наверняка указывает на конкретное ремесло.

В документах фамилия встречается с XIX века, преимущественно в центральных и южных губерниях России, но широкой географией не отличается. Известных носителей, оставивших заметный след в истории, среди Рыльщиковых нет — фамилия осталась фамилией простых тружеников. Потомок человека, которого в деревне звали Рыльщиком за его работу с землёй или за игру на старинной лире, со временем получил фамилию Рыльщиков и передал её детям.