Фамилия Крамзин — это не самостоятельное образование, а фонетический вариант более известной фамилии Карамзин. Такая замена «а» на «р» в корне («Карам-» → «Крам-») возникла в живой речи: при быстром произношении первый слог редуцировался или переосмысливался, и со временем вариант закрепился в документах. Поэтому корни у обеих фамилий общие.

Происхождение фамилии Карамзин ведут от татарского мурзы по имени Кара Мурза, что в буквальном переводе с тюркского означает «черный князь». В XV–XVI веках выходцы из Орды нередко поступали на русскую службу, крестились и получали поместья. Карамзины, согласно родословным преданиям, жалованы поместьями и переведены в дворяне в 1606 году. Фамильный герб Карамзиных также свидетельствует о связях с Востоком: на голубом фоне изображена серебряная луна, обращенная рогами вверх, а над нею крестообразно положены два золотых меча — атрибуты, характерные для родов восточного происхождения.

Самый известный носитель исходной фамилии — Николай Михайлович Карамзин (1766–1826), автор 12-томной «Истории государства Российского», доведенной до 1611 года, и основоположник русского сентиментализма («Письма русского путешественника», «Бедная Лиза»). Таким образом, потомок человека, которого звали Карамза, со временем мог получить фамилию Крамзин — через тот же корень, но в упрощённой, народной огласовке.