Фамилия Модлая — редкая и звучит не по-русски. Её происхождение почти наверняка не связано с русским языком, искать в ней славянский корень «модл-» бесполезно. Скорее всего, перед нами фамилия, пришедшая с Кавказа, точнее — из адыгских (черкесских) языков.

В адыгейском и кабардино-черкесском языках есть основа «модэ» или «мод» со значением «мера», «предел», «граница». Суффикс «-лай» (или «-лъай») в адыгских фамилиях часто указывает на принадлежность к роду или местности: «тот, кто из...», «относящийся к...». Таким образом, Модлая можно расшифровать как «тот, кто с границы», «пограничник» или «человек, живущий у предела». В условиях горной местности, где границы между обществами были четко очерчены, такое прозвище-ориентир было понятным и точным.

Вторая, менее вероятная, версия отталкивается от тюркского слова «модлы» (сравните с татарским «модлы» — «гордый», «важный»). Но адыгская этимология убедительнее хотя бы потому, что окончание «-ая» в русской записи — типичная адаптация кавказских фамилий (сравните: Шхалахов — Шхалахъуэ, Абхазава — Абхазэ). При переписях и записях в метрические книги адыгское окончание рода часто превращалось в русское «-ая» или «-ов».

География фамилии подтверждает кавказский след. Модлаи встречаются в Краснодарском крае и Адыгее, особенно в аулах и станицах, где компактно живут черкесы. Это не массовая фамилия, а скорее родовая, сохранившаяся в нескольких ветвях. В дореволюционных списках дворянских родов Кубани или Терской области её нет, что говорит о крестьянском или узденском (свободном, но не княжеском) происхождении предков.

Если сравнивать с однокоренными, то в адыгской ономастике есть фамилия Модлагов (Модлагъуэ) с тем же корнем, но другим суффиксом. Модлая — более редкий вариант, сохранивший архаичную форму без русского патронимического суффикса.

Итог простой: фамилия Модлая — не русская, а черкесская. Её носители — потомки адыгов, живших на границе обществ или носивших прозвище «пограничник». В русскую письменность она попала в XIX–XX веках вместе с переселением горцев на равнину.