Фамилия Бриммер имеет сходную этимологию с немецким нарицательным «Brimmen» - «ворчание». Вероятно, фамилия либо содержала указание на особенности речи ее основателя (негромкая, неотчетливая), либо на черты характера и поведение предка (частое выражение недовольства, досады, раздражительность).