Фамилия Мотрний — редкий случай, когда написание сразу подсказывает путь разбора. Окончание -ий, а не привычное -ов или -ин, указывает на прилагательную модель: такие фамилии чаще всего образовывались от прозвищ или прилагательных, отвечавших на вопрос «чей?» или «какой?». В украинской и южнорусской традиции суффикс -н-ий мог закрепляться за фамилиями, указывавшими на место жительства или характерный признак, но в основе Мотрний лежит, скорее всего, личное имя.

Самая прямая версия — от женского имени Мотря, просторечной формы канонического имени Матрона (от лат. matrona — «знатная замужняя женщина», «мать семейства»). В украинском и южнорусском говорах Матрона превращалась в Мотрю, Мотрону, а от неё возникали прозвища и фамилии: Мотренко, Мотрохин, Мотрний. Если фамилия образована от женского имени, это может говорить о внебрачном происхождении или о том, что предок воспитывался матерью-одиночкой — в крестьянской среде так нередко давали фамилию по имени матери (так называемые «матронимы»).

Вторая, менее вероятная версия — от диалектного прозвища «мотрний» в значении «смотрящий», «зоркий», «наблюдательный» (ср. укр. «мотрити» — смотреть, глядеть). Но в этом случае ожидалась бы фамилия с ударением на корне, а не на суффиксе, и форма была бы скорее Мотрый или Мотров. Поэтому версия с женским именем выглядит убедительнее.

Географически фамилия Мотрний тяготеет к западным и центральным областям Украины, где суффикс -ий в фамилиях встречается чаще, чем в России. Встречается она очень редко — даже в дореволюционных справочниках её почти нет. Это значит, что род мог быть немногочисленным или фамилия закрепилась поздно, уже в XIX веке, при унификации фамилий в крестьянской среде.

Сравните с однокоренными: Мотренко — типично украинская фамилия на -енко, Мотрохин — русская форма с суффиксом -ин, Мотрний — самая редкая из этого гнезда, сохранившая прилагательное окончание как память о прозвище.