Фамилия Грамзе ведет свое начало от польского диалектного слова gramza, которое в переводе на русский язык означает «тот, кто шаркает ногами». Поэтому, вполне возможно, что эта фамилия первоначально употреблялась в качестве личного прозвища неуклюжего человека с шаркающей походкой. Согласно другой версии, фамилия Грамзе связана с немецким словом krams, которое имеет несколько значений: «хлам, пожитки», «лавка старьевщика», «мелочный товар». В таком случае фамилия Грамзе может указывать на социальное положение основателя рода (низшее сословие), на его привычки (собирать или хранить старые, ненужные вещи) или на его профессиональную деятельность (торговля дешевым товаром).