Фамилия Ртиыукс — настолько редкий случай, что её происхождение невозможно вывести из привычных русских словообразовательных моделей. В ней нет ни одного суффикса, типичного для русских фамилий (-ов, -ев, -ин, -ский, -их). Скорее всего, перед нами искажённая запись или транслитерация иноязычной фамилии, которую при переписи записали на слух, а потом закрепили в документах.

Правдоподобная версия — фамилия восходит к немецкому или прибалтийскому корню. Сочетание «рт» в начале слова для восточнославянских языков нетипично, зато встречается в немецких фамилиях, например, Rüttgers или Rietz. Окончание «-ыукс» может быть искажённым вариантом литовского или латышского окончания, указывающего на принадлежность к роду. В таком случае исходной формой могла быть фамилия вроде Ритюкс или Ритяукс, где основа — личное имя или прозвище (возможно, от лит. rytas — «утро» или ryti — «глотать»). При записи русским писарем буквы «ю» и «я» могли превратиться в «ыу».

Ещё одна гипотеза — фамилия могла возникнуть в среде старообрядцев или переселенцев, которые записывали фамилии по памяти, без письменного образца. В этом случае Ртиыукс — это случайный набор букв, который закрепился в метриках. Подтвердить или опровергнуть эту версию можно только архивными записями конца XVIII — начала XIX века. Если вы найдёте более раннее написание (например, Ртиукс или Ртиуков), происхождение прояснится.

Носителей фамилии Ртиыукс в современных открытых базах данных практически нет. Это говорит о том, что фамилия либо угасла, либо сохранилась в одной-двух семьях, возможно, в Сибири или на Урале, куда в XIX веке ссылали «инородцев» и сектантов. Если вы встретили эту фамилию в своём роду, скорее всего, ваши предки были либо выходцами из Прибалтики или немецких колоний, либо людьми, чью фамилию исказили при переписи до неузнаваемости.