Фамилия Лытов образована от прозвища Лыт. В русских говорах слово «лыт» имело несколько значений, но все они связаны с движением: «лытать» означало «увиливать, отлынивать от работы, слоняться без дела». Соответственно, Лытом называли человека праздного, ленивого или того, кто уклонялся от обязанностей. В некоторых диалектах «лыт» — это ещё и «беглец, бродяга». Так что прозвище было нелестным, но вполне употребительным в крестьянской среде.

По модели образования фамилия относится к самому распространённому типу — патронимы на -ов. Суффикс -ов присоединялся к основе прозвища, указывая на принадлежность: «сын Лыта» или «из семьи Лыта». Такая фамилия могла закрепиться за потомками человека, который впервые получил это прозвище, уже в XV–XVII веках, когда шло массовое оформление русских фамилий.

Интересная деталь: у фамилии есть смысловой «двойник» — Лыткин. Оба корня восходят к одному глаголу «лытать», но разными суффиксами. Лытов — более старая форма, где основа обрублена до корня, а Лыткин — более поздняя, с сохранившимся глагольным суффиксом -к-. Встречаются обе фамилии в одних и тех же регионах: Вологодчина, Архангельская область, Поволжье.

Встречается также версия, что Лытов может быть связан со словом «лытый» — так в некоторых говорах называли рыжего или пёстрого человека. Но это предположение слабее: слово «лытый» малораспространённое, а глагол «лытать» фиксируется в словарях Даля и народной речи повсеместно. Поэтому основная версия — прозвище по поведению, а не по внешности.

Сословно носители фамилии Лытов в большинстве своём были крестьянами и посадскими людьми. Дворянских родов с такой фамилией в «Бархатной книге» и других родословных сборниках не числится. Встречаются Лытовы среди старообрядцев — это тоже характерно для северных и заволжских территорий, откуда фамилия пошла.