Фамилия Мильдерсон — редкий пример, где встречаются сразу две языковые традиции. В основе лежит немецкая или скандинавская фамилия Мильдер (Milder), а русский суффикс -сон превращает её в «сына Мильдера». В немецком языке Milder означает «более мягкий» (сравнительная степень от mild — мягкий, кроткий), но вряд ли это прямое прозвище человека. Скорее всего, Мильдер — это фамилия, данная по месту жительства или по профессии, либо сокращённая форма от сложного имени вроде Mildhart.

Добавление -сон — типично для фамилий, которые оформлялись в Прибалтике, Финляндии или среди немецких колонистов в России. В остзейских губерниях и в Петербурге немецкие фамилии нередко получали шведский или финский патронимический суффикс, особенно если носитель переходил в православие или просто адаптировал фамилию к местной модели. Таким образом, Мильдерсон — это не чисто немецкая, а скорее балтийско-немецкая или обрусевшая фамилия, возникшая на стыке культур.

С точки зрения словообразования, фамилия стоит особняком: в русской среде почти нет фамилий на -сон, кроме заимствованных (Абрамсон, Бергсон). Это сразу указывает на иноязычное происхождение. Вероятно, предок носителя был выходцем из немецких колоний или из Швеции, а сама фамилия закрепилась в России в XIX веке. Географически она могла встречаться в Поволжье, где жили немецкие колонисты, или в Прибалтике.

Встречается также вариант написания Мильдерзон, что ещё больше сближает её с еврейскими фамилиями на -зон, но корень Мильдер в еврейской среде нехарактерен. Поэтому основная версия — немецкая основа с балтийским оформлением.