Фамилия Рыьина — явный артефакт письменной фиксации. Скорее всего, это искажённое написание фамилии Рыбина или Рыкина, возникшее из-за неразборчивого почерка в метрических книгах или при переписи. Буква «ь» в середине слова для русской фамилии нетипична: она не несёт смысловой нагрузки и не встречается в стандартных словообразовательных моделях на -ин. Вероятно, переписчик спутал рукописные «к» и «ь» или записал фамилию на слух с дефектом дикции. Если же это не ошибка, а редкий вариант, то основа «Рыь» не прослеживается ни в одном из известных славянских корней — ни в прозвищах, ни в именах, ни в географических названиях.

Если отталкиваться от наиболее вероятного прочтения — Рыбина, — то фамилия принадлежит к распространённому типу на -ин, образованному от прозвища или профессии отца. Основа «Рыба» могла указывать на рыболова, торговца рыбой или человека с прозвищем Рыба (например, за холодный, «рыбий» взгляд или молчаливость). В говорах слово «рыбина» означало крупную рыбу, иногда — рыбий хвост как часть снасти. В ономастике известна фамилия Рыбин, и её носители — выходцы из разных регионов, но чаще из северных и волжских областей, где рыболовство было основным промыслом.

Менее вероятный вариант — Рыкина. Тогда основа — глагол «рыкать» (реветь, издавать громкий звук) или прозвище Рыка (крикливый, шумный человек). Суффикс -ин указывает на принадлежность: «чей?» — Рыкин, то есть сын Рыки. Фамилия Рыкин встречается реже, чем Рыбин, и зафиксирована в основном в центральных и южных губерниях.

Таким образом, носитель фамилии Рыьина, скорее всего, имеет предка по фамилии Рыбин (рыбак или торговец рыбой) либо, с меньшей вероятностью, Рыкин (крикливый человек). Точное происхождение можно установить только по архивным записям, где сохранилось первоначальное написание.