Фамилия Рыльцын образована от прозвища Рыльце. Основа здесь — уменьшительная форма слова «рыло», которое в старину означало не только «морду животного», но и «широкое лицо», а также «носок сосуда, отлив». Если прозвище относилось к человеку, то так могли назвать кого-то с широкими чертами лица. Но есть и другая, более конкретная версия: «рыло» — это часть музыкального инструмента, и прозвище Рыльце мог получить либо музыкант, игравший на таком инструменте, либо мастер, который эти самые рыли изготовлял. То есть фамилия вполне могла закрепиться за ремесленником или народным умельцем.

Согласно ещё одной гипотезе, прозвище Рыльце произошло от глагола «рыть» — «копать, делая в земле углубление». В этом случае прозвище носило бытовой характер: так могли назвать землекопа, строителя или человека, который постоянно копался в земле — например, огородника. Обе версии имеют право на жизнь, но первая, связывающая прозвище с внешностью или инструментом, выглядит правдоподобнее: в русских говорах слово «рыльце» с ударением на первый слог чаще относилось именно к предмету, а не к действию.

Сама фамилия построена по классической русской модели: к основе Рыльц- добавлен суффикс -ин, который указывает на принадлежность. Рыльцын — это «сын Рыльца». Такая форма типична для северных и центральных русских земель, где притяжательные прилагательные с -ин образовывались от слов с конечным -а/-я. Потомок человека, обладающего прозвищем Рыльце, со временем получил фамилию Рыльцын.

Однокоренные фамилии — Рылов, Рыльцев, Рыльников — встречаются чаще, чем Рыльцын. Это говорит о том, что исходное прозвище не было массовым, а закрепилось в одном конкретном роду. В письменных источниках фамилия редкая, и это делает её ценной для генеалогического поиска: чем реже фамилия, тем легче отследить её носителей по документам.