Фамилия Матоина — редкий случай, когда суффикс -ин указывает на женскую линию, а не на принадлежность мужчине. В русской традиции фамилии на -ин обычно образуются от основ, оканчивающихся на -а/-я: Пушкин (Пушка), Ильин (Илья). Но здесь мы видим окончание -а уже в самой фамилии. Это почти наверняка нестандартная фиксация: в документах могли записать женскую форму по материнской линии (Матоина — «жена или дочь Матоя»), либо это результат описки или диалектного произношения, где ударение сместилось, а окончание осталось.

Основа фамилии — Матой. Имя или прозвище Матой — это, скорее всего, производное от канонического имени Матвей (через разговорные формы Матёй, Матой). В русских говорах имя Матвей нередко сокращали до Матоха, Матоша, а Матой — вариант, зафиксированный в псковских и новгородских землях. Суффикс -ой в таких именах (как Толстой, Гордой) указывал на качество или принадлежность, но здесь он просто оформил личное имя.

Географически фамилия Матоина должна была возникнуть там, где имя Матвей звучало как Матой — на северо-западе России, возможно, в бывших Псковской или Новгородской губерниях. В современных справочниках фамилия почти не встречается, что говорит либо о её вымирании, либо о сильном искажении при переписях — например, превращении в Матоев или Матонов.

Второй, менее вероятный вариант: основа от греческого «мато» (глаз) или от итальянского matto (дурак, безумный), но для русской фамилии это экзотика. Прозвище Матой могло означать «глазастый» или «бестолковый», но без письменных источников XVII–XVIII веков это лишь догадка.

Так что если вы встретили фамилию Матоина в своей родословной, ищите предков по мужской линии с именем Матвей в форме Матой — скорее всего, они жили на северо-западе России и были крестьянами или посадскими людьми.