Она образована от прозвища Брытан – “брат”. Возможно, фамилию Брытан получил сын чьего-либо брата. Менее вероятно, что в основе этой фамилии лежит нарицательное «брытик» - «дым, чад, гарь».