Фамилия Аксамитов образована от прозвища Аксамит, которое напрямую связано с дорогой тканью — аксамитом. В старину так называли плотный ворсистый материал из шёлка с добавлением золотой или серебряной нити, напоминающий современный бархат. Слово это греческого происхождения: «акс» означает «шесть», а «митос» — «нить». Чтобы ткань выдерживала вес металлических нитей, её формировали из шести нитей — двух основных и четырех уточных. Узор на аксамите выводили кручёной золотой или серебряной нитью, что делало ткань особенно ценной.

Прозвище Аксамит могли дать торговцу тканями или искусному ткачу, работавшему с этим материалом. В более широком смысле аксамитом называли любую драгоценную ткань — это слово встречается даже в «Слове о полку Игореве». Само прозвище известно с XVI века: в «Ономастиконе» С. Б. Веселовского упоминается князь Аксамит Иванович Мещерский (1540 год, Тверь). Фамилия Аксамитов образовалась по стандартной модели: к основе прозвища добавили суффикс -ов, указывающий на принадлежность («чей?» — сын Аксамита).

Стоит обратить внимание на редкость такой модели: в основе фамилии лежит не имя и не профессия в привычном понимании, а конкретное название предмета роскоши. Это сразу выделяет Аксамитовых из ряда «ремесленных» фамилий вроде Кузнецовых или Ткачёвых. Встречается фамилия преимущественно в центральных регионах России, что согласуется с тверским происхождением первого известного носителя прозвища.