Фамилия Ильмовы — один из тех родовых имен, что прямо отсылают к миру вещей и занятий древней Руси. В основе лежит слово «ильм» — лиственное дерево с очень прочной, вязкой древесиной, родственник вяза. Древесина ильма шла на самые разные нужды, но бытовой контекст подсказывает главное: из коры ильма (лыка) на Руси веками плели лапти. Эта обувь была повседневной для миллионов крестьян вплоть до 1930-х годов, и плетение лаптей было отдельным, широко распространённым ремеслом. Поэтому самая прямая версия: предок Ильмовых был ремесленником, который специализировался на заготовке лыка или непосредственно на плетении лаптей — «ильмовых» лаптей, то есть сделанных из коры именно этого дерева.

Возможен и другой, более простой сценарий. Прозвище Ильм мог получить человек, живший у заметной рощи или одинокого старого дерева — ильмы часто росли по берегам рек и были хорошо видны. Такие «топографические» прозвища давали без всякой связи с ремеслом, просто для ориентира на местности. В любом случае, прозвище Ильм стало семейным, а затем, при оформлении фамилий, к нему добавился стандартный русский суффикс принадлежности -ов. Получилась фамилия Ильмов, а её форма множественного числа — Ильмовы — указывает на весь род целиком.

Фамилия эта редкая и не относится к числу «княжеских» или «боярских» — её корень лежит в крестьянском или ремесленном быту. В официальных бумагах она могла фиксироваться по-разному: в одних документах писали Ильмов, в других, под влиянием местного говора, Ильмовы. Сложность в том, что без конкретных архивных записей (ревизских сказок или писцовых книг) нельзя точно сказать, в каком именно регионе — Новгородской, Вятской или, скажем, Рязанской земле — это прозвище впервые закрепилось как фамилия. Словарь Б. Унбегана относит такие «древесные» фамилии к числу древних, но указывает, что их массовое оформление шло в разных местах независимо.