Фамилия Рильцына — женская форма от Рильцын, и её разумнее всего рассматривать в паре, поскольку основа и прозвище у них общие. Суффикс -ын (в женском варианте -ына) указывает на принадлежность: «чей?» — Рильцын, то есть сын или потомок человека по прозвищу Рилец. Это типичная модель для русских фамилий, особенно распространённая в северных и центральных областях, где -ин/-ын вытесняли -ов/-ев.

Корень — «рил-». Самая прямая версия: прозвище Рилец дали человеку, который жил у реки Рила или на реке с похожим названием. Такие гидронимы встречаются в бассейне Днепра и в западных регионах России (например, речка Рила в Смоленской области). Менее вероятно, но возможно, что в основе лежит диалектное слово «рило» — в некоторых говорах так называли рыло, нос, морду, а в переносном смысле — человека с заметным носом или нелюдимого. Однако для фамилии Рильцына «речная» версия выглядит убедительнее, потому что суффикс -ец в прозвище Рилец часто давали по месту жительства: «тот, кто с Рилы».

Обратите внимание на написание: фамилия пишется через «ы» после «ц», что для русского языка нормально (ср. Синицын, Птицын). Если бы основа оканчивалась на твёрдый согласный, был бы суффикс -ов, но здесь работает правило шипящих и ц. Встречается и вариант Рильцин, где после ц идёт и, но это уже влияние более поздних канцелярских норм или орфографическая ошибка.

Социальный состав носителей фамилии не установлен, но по модели образования (суффикс -ец) можно предположить, что предки были не из высшего сословия: такие прозвища чаще давали крестьянам и посадским людям. В документах фамилия не частая, что говорит о её локальном бытовании — возможно, в пределах одной-двух губерний. Если искать однокоренные, то ближе всего Рыльцев (от города Рыльск) и Рильский (от того же гидронима, но с польским или украинским суффиксом), но Рильцына стоит особняком из-за редкого сочетания корня и суффикса.