Фамилия Имзен — редкий случай, когда русская по форме фамилия почти наверняка имеет нерусское, а точнее, немецкое или скандинавское происхождение. Она образована без типичных русских суффиксов принадлежности (-ов, -ин, -ский), что сразу выдает её иноязычную основу. В русском языке фамилия застыла в виде чистой основы, без добавления патронимических окончаний, что характерно для фамилий, вошедших в обиход из немецкой или прибалтийской среды в XVIII–XIX веках.

Скорее всего, в основе лежит немецкая фамилия Immen или её вариант Immensen. Корень восходит к древневерхненемецкому imbi — «пчела». Соответственно, Immen могло означать «пчелиный» или относиться к человеку, занимавшемуся пчеловодством. Суффикс -sen (как в Jensen, Petersen) в северогерманских языках (датском, норвежском, нижненемецком) указывает на принадлежность: «сын Имме». Имя Имме (Imme) — краткая форма от Immanuel или от Imbert, но в просторечии оно могло закрепиться именно за пчеловодом, так как слово «пчела» звучало одинаково.

Вторая, менее вероятная версия — топонимическая. В Германии есть несколько населённых пунктов с названием Имзен (Immsen, Immensen), например, в земле Нижняя Саксония. Фамилия могла возникнуть как указание на выходца из такого места: «Имзен» — «тот, кто из Имзена». Однако для русской письменной фиксации характерно, что фамилии-топонимы часто получали суффиксы (-ский, -ов), а здесь мы видим чистую основу, что склоняет к версии прозвища или отчества.

В России носители фамилии Имзен — это, как правило, потомки немецких колонистов, переселившихся в Поволжье, Причерноморье или Прибалтику в XVIII–XIX веках. Встречается она также среди обрусевших немцев и прибалтийских шведов. Из-за редкости фамилии её географическое распространение узкое: отдельные семьи в Санкт-Петербурге, Саратовской области, на Урале. Сословно предки могли быть как ремесленниками-пчеловодами, так и крестьянами-колонистами, но точных данных о социальном статусе всех ветвей нет.