Фамилия Лытасовы относится к распространённому типу русских фамилий, образованных от личного прозвища. В её основе лежит прозвище Лытас, которое восходит к глаголу «лытать» — «уклоняться от дела, шляться, шататься, скитаться». Скорее всего, так в народе называли праздного гуляку, лентяя или бездельника. Однако у этого прозвища мог быть и другой смысл: Лытасом могли прозвать странника или верующего, который часто ходил по святым местам.

Есть и третья версия, которая привязывает фамилию к северным говорам. В вологодских диалектах слово «лыта» означало «длинная нога». Тогда прозвище Лытас — а затем и Лытасов — мог получить человек с длинными ногами, который быстро и много ходил. Такое объяснение хорошо согласуется с тем, что родственное прозвище Лытка впервые зафиксировано в Новгороде в 1478 году, а позже неоднократно встречается в писцовой книге Ярославля 1671 года.

Словообразовательная модель проста: к основе Лытас добавили типичный русский суффикс -ов, указывающий на принадлежность («чей?» — Лытасов). Так потомка человека по прозвищу Лытас стали записывать в документах как Лытасова. Точное место и время возникновения фамилии установить сложно — процесс формирования фамилий на Руси был долгим и шёл неравномерно. Но в любом случае фамилия Лытасов остаётся характерным памятником славянской антропонимии, где за бытовым прозвищем стоит целый пласт народной речи и быта.