Фамилия Рыльцын образована от прозвища Рыльце. Оно, по одной из версий, ведет свое начало от нарицательного «рыло» - «широкое лицо», «носок сосуда, отлив». В таком случае прозвище Рыльце мог получить музыкант, игравший на нем, либо мастер, изготовлявший рыли. Согласно еще одной гипотезе, прозвище Рыльце произошло от глагола «рыть», что означает «копать, делая в земле углубление». Таким образом, потомок человека, обладающего прозвищем Рыльце, со временем получил фамилию Рыльцын.