Фамилия Брыйя — редкий случай в русском ономастиконе. Если не знать её происхождения, легко ошибиться: сочетание букв выглядит как транслитерация французской фамилии (сравните Брилья-Саварен). Но на самом деле перед нами пример ассимиляции нерусского корня через русскую словообразовательную модель. Фамилия образована с помощью суффикса -j- (на письме — «я»), который в славянских фамилиях встречается редко и обычно указывает на притяжательность: «чей?» — «Брыя» или «Брыйя». То есть основа — Брый-.

Что стоит за этой основой? Тут открываются две версии. Первая: отчество от крестильного имени. В православных святцах есть имя Абросим (народная форма от Амвросий), его уменьшительные варианты — Брося, Броша. От них могли образовать форму Брый через чередование согласных (р/й — явление нередкое в диалектной речи). Вторая версия — прозвище от диалектного глагола «брыть» (брить, стричь) или прилагательного «брытый» (бритый, гладкий). В таком случае Брый — человек с гладким лицом, либо, в переносном смысле, хитрец, который «обрил» кого-то.

Географически фамилия тяготеет к южнорусским и украинским землям, где суффикс -j- в фамилиях встречается чаще (сравните: Шевченко — Шевчий, Коваль — Ковалий). В центральной России таких моделей почти нет. Социальный контекст: скорее всего, предки Брыйя были крестьянами или казаками, так как фамилии на -ий (-ый) с основой от прозвища или уменьшительного имени — типичная черта непривилегированных сословий.

Интересно, что в современных документах фамилию могут записывать двояко: Брыйя и Брыя. Двойное «й» — реликт старой орфографии, где мягкость обозначали иначе. В любом случае, перед нами не польская и не французская фамилия, а исконно восточнославянская, хоть и с необычным окончанием.