Фамилия Брысовы — одна из тех русских фамилий, которые образованы не от церковного имени, а от прозвища. В основе лежит слово «брысь» — так в деревнях отгоняли кошек или подзывали их. Со временем это слово перешло в разряд прозвищ: Брысом могли назвать человека, в котором замечали кошачьи повадки — ласковость, льстивость, умение приласкаться к нужному человеку. В некоторых говорах «брысь» служило и прямой кличкой для кошки, так что прозвище могло быть и вовсе шутливым, без глубокой характеристики.

Фамилия строится по самой массовой модели русских фамилий — с суффиксом -ов, который указывает на принадлежность: «Брысов» буквально означало «сын Брыса». Эта модель (прозвище + -ов) стала господствующей в центральных и северных областях России к XVII–XVIII векам, когда фамилии окончательно закреплялись за крестьянскими и мещанскими родами. Поэтому Брысовы с высокой вероятностью происходят из среды земледельцев или ремесленников, а не из дворянства или духовенства — там чаще встречались фамилии на -ский или искусственные семинарские.

Любопытно, что фамилия Брысов не имеет однозначных параллелей в других славянских языках. Украинские или белорусские варианты (вроде Брысь, Брысенко) встречаются редко, а русская форма на -ов указывает на то, что предки носителей жили именно в великорусских губерниях. В переписных книгах и ревизских сказках фамилия фиксируется спорадически — например, в документах Тульской и Рязанской губерний XIX века встречаются отдельные крестьянские семьи Брысовых. Но массового распространения фамилия не получила, что делает её относительно редкой.

Исследователь русских фамилий Б. Унбегаун в своём труде «Русские фамилии» упоминает группу фамилий, образованных от звукоподражательных междометий, и относит их к древнейшему пласту прозвищ. Брысов стоит в одном ряду с фамилиями вроде Цыц, Шиш, Тпру — все они возникли из бытовых окриков или обращений к животным. Такие прозвища редко давали в насмешку, чаще — как меткую бытовую характеристику, понятную в узком кругу односельчан.

Точное место возникновения фамилии Брысов установить сейчас сложно: процесс закрепления прозвищ в фамилии шёл несколько столетий, и документальные следы могли не сохраниться. Однако сама модель — короткое прозвище с суффиксом -ов — говорит о том, что фамилия сформировалась не позднее XVIII века.