Фамилия Хуторов восходит к нарицательному «хутор». Скорее всего, прозвище Хутор указывает на живущего на хуторе, отдельным двором. Таким образом, потомок человека, обладающего прозвищем Хутор, со временем получил фамилию Хуторов.