Фамилия Маллой — не русская, а ирландская, и это сразу определяет угол разговора. В русском контексте она встречается крайне редко, обычно как результат иммиграции или смешанных браков. Поэтому искать в ней славянский суффикс -ов или -ин бессмысленно. Маллой — это англизированная запись ирландской фамилии Ó Maolmhuaidh.

Разберём основу. Maolmhuaidh — древнеирландское личное имя, которое складывается из двух частей: maol (тонзура, бритоголовый, а в переносном смысле — «посвящённый», «слуга») и muaidh (благородный, гордый). В буквальном переводе имя означало «благородный слуга» или «посвящённый знатному». Частица Ó указывала на принадлежность к роду: «внук» или «потомок» того самого Maolmhuaidh. Со временем язык упростился, и Ó Maolmhuaidh превратилось в Malloy или Molloy, а в русской транскрипции закрепилось как Маллой.

Географически фамилия плотнее всего привязана к западным графствам Ирландии — Голуэй, Мейо, Роскоммон. В этих местах клан Ó Maolmhuaidh был известен как потомственные поэты и историки при местных вождях. То есть, если ваш предок-ирландец носил фамилию Маллой, он с высокой вероятностью происходил не из крестьян, а из учёной или аристократической среды — из тех, кто хранил генеалогии и сочинял саги. Правда, после английских завоеваний XVI–XVII веков многие представители рода потеряли землю и статус, и фамилия разошлась по разным сословиям.

В русской среде фамилия Маллой может быть не только ирландской. В единичных случаях это переосмысленная форма от прозвища Малой или Малый, но с иноязычным окончанием -ой, которое на письме исказилось до -ой. Однако это маргинальная версия: настоящих носителей с такой этимологией почти нет, и без документального подтверждения предков из Ирландии её лучше не принимать всерьёз. Основной и единственно надёжный путь — ирландский корень, связанный с поэзией, знатностью и западными землями Изумрудного острова.