Фамилия Хломов — редкий случай, когда основа почти наверняка восходит к диалектному слову, а не к распространённому имени или профессии. В русских говорах «хлом» или «хломы» означало хворост, сучья, лом, мусор, а также неопрятного, неряшливого человека. Прозвище Хлом могли дать либо тому, кто жил в захламлённой избе, либо, наоборот, тому, кто занимался заготовкой хвороста или уборкой лесного валежника. Вторая версия — от глагола «хломить» (ломать, гнуть, валить) — подкрепляется тем, что в некоторых областях «хломом» называли бурелом.

Суффикс -ов указывает на стандартную патронимическую модель: Хломов — сын Хлома. Фамилия образована как притяжательное прилагательное, что типично для русских фамилий, возникших из прозвищ в XV–XVII веках. Интересно, что в отличие от более частых фамилий на -ов от имён (Иванов, Петров), здесь основа — нарицательное слово, причём с явной отрицательной или сниженной коннотацией. В ономастических справочниках фамилия не фиксируется как широко распространённая; её ареал, скорее всего, связан с северными и центральными губерниями России, где диалект «хлом» был в ходу.

Есть и менее вероятная гипотеза: связь с тюркским «холум» (слуга, раб) или с греческим «хломос» (плащ, хламида). Но для русской фамилии такая основа нехарактерна, а фонетическое совпадение случайно. Гораздо правдоподобнее, что предки носителя фамилии жили в лесной местности и получили прозвище по роду занятий или бытовой черте — без всякой «благородной» подоплёки. В этом и состоит ценность фамилии: она сохранила живое диалектное слово, которое уже почти вышло из употребления.