Фамилия Вытовтов образована от мужского имени Вытовт — белорусского варианта древнего литовского имени Витовт. Самое известное историческое лицо с этим именем — великий князь Литовский Витовт Великий (1350–1430), сын Кейстута и двоюродный брат Ягайло. Однако происхождение самого имени неоднозначно. Одна из версий возводит его к древнему названию жреца — «витавит», что в переводе с санскрита означает «тот, кто знает веды». Другая, более прозаичная, связывает имя с литовским vyti — «гнать, преследовать», что могло быть прозвищем воина или предводителя.

В русской ономастике фамилия Вытовтов строится по типичной патронимической модели: к основе «Вытовт» добавили притяжательный суффикс -ов, указывающий на принадлежность («чей?» — сын Вытовта). Интересно, что исходное имя в документах встречается в разных написаниях: Витовт, Вытовт, Витовт. Фамилия закрепила именно вариант с «ы», что может говорить о южном или западнорусском говоре, где «и» переходило в «ы» после твёрдых согласных.

Одно из первых документальных упоминаний родственных именований относится к XV веку. В «Ономастиконе» академика С. Б. Веселовского записан крестьянин Якуш Витовт из Новгородского уезда (1498 год), а также отмечены Витовтовы из Ярославля (XVI век). Эти записи показывают, что фамилия рано распространилась не только на западе, но и в центральных русских землях. Ярославские Витовтовы, судя по контексту, могли быть служилыми людьми или посадскими — фамилия встречается среди дворянских родов, внесённых в родословные книги.

Таким образом, фамилия Вытовтов — редкий пример того, как балтское имя прижилось в русской среде, сохранив белорусское произношение. Её носители, скорее всего, потомки человека по имени Вытовт, который мог быть выходцем из Великого княжества Литовского, переселившимся на Русь.