Фамилия восходит к эстонскому слову vilumus, которое переводится на русский язык как «навык, умение». Скорее всего, это слово легло в основу прозвища Вилюм. Так могли называть мастера, специалиста в каком-либо деле.