Фамилия Лытаев образована от прозвища Лытай. В словаре Владимира Даля «лытай» — это «праздный гуляка, шатун, кто ходит, бродит везде без дела, или избегая дела». Проще говоря, человека, который отлынивал от работы или бесцельно слонялся, могли так прозвать. Вторая версия, более мягкая, связывает прозвище с глаголом «лытать» — то есть «скитаться». В этом случае Лытаем называли не лодыря, а странника, человека без постоянного крова.

Есть и третья, менее распространённая гипотеза — от вологодского слова «лыта», что значит «длинная нога». Если это так, то прозвище могло указывать на высокого, быстроногого человека. Из всех трёх версий первая — самая правдоподобная: она опирается на общенародное значение слова, зафиксированное в авторитетном словаре, и объясняет фамилию через типичную для русских прозвищ модель — по поведению.

Суффикс -ев указывает на принадлежность: Лытаев буквально означает «сын Лытая». Фамилия закрепилась, когда прозвище перестало быть личным именованием и перешло к потомкам. В Книге памяти Пензенской области сохранилась запись о дьяконе Петре Степановиче Лытаеве, родившемся в 1890 году в селе Шуты Наровчатского уезда. Это одна из немногих документальных привязок фамилии к конкретному сословию — духовенству. Судя по ней, в XIX веке Лытаевы жили в центральной России, и прозвище к тому времени уже давно утратило свой первоначальный смысл.