Фамилия Ильмов ведет происхождение от прозвища Ильм. В основе лежит название лиственного дерева с прочной древесиной, родственного вязу. Скорее всего, прозвище получил человек, связанный с обработкой ильма: например, столяр, плотник или резчик по дереву. Древесина ильма ценилась за упругость и долговечность, из нее делали ободья для колес, полозья саней и другие предметы, которые должны были выдерживать нагрузки.

Еще одно возможное занятие предка Ильмовых — плетение лаптей. На Руси для лаптей часто использовали лыко, снятое с молодых ильмов. Лапти оставались повседневной обувью крестьян вплоть до 1930-х годов, так что ремесло было востребованным. Мастер, который заготавливал лыко и плел лапти, вполне мог получить прозвище по материалу — Ильм.

Не исключен и бытовой вариант: прозвище могли дать человеку, жившему рядом с ильмовой рощей или заметным деревом. В сельской местности такие приметные ориентиры нередко становились основой для именования. Со временем прозвище Ильм закрепилось за потомками как фамилия Ильмов — по стандартной модели с суффиксом -ов, указывающим на принадлежность роду.