Фамилия Лытарев — один из тех случаев, когда суффикс подсказывает значение быстрее, чем корень. Перед нами типичная «профессиональная» модель на -арь, которая в русском языке обозначала человека по роду занятий: бондарь, пекарь, псарь, звонарь. В основе фамилии лежит прозвище Лытарь — тот, кто «лытает». Глагол «лытать» в старых говорах означал «увиливать от работы, отлынивать, шататься без дела, бродяжничать». Соответственно, Лытарь — это лодырь или бродяга. Суффикс -ев — это уже стандартный русский патронимический суффикс, указывающий на принадлежность: «сын Лытаря».

Интересно, что фамилия Лытарев довольно редкая, и её география тяготеет к северным и центральным областям России. Встречается она в архангельских, вятских и костромских землях, где слово «лытать» было особенно употребительно. В некоторых диалектах у этого глагола был и менее осуждающий оттенок — «ходить без дела, но не со зла, а просто по своей воле». Так что предок Лытаревых мог быть не столько лентяем, сколько вольным человеком, не желавшим сидеть на одном месте.

Есть и вторая, менее очевидная версия, которую приводят некоторые ономасты. В псковских и тверских говорах «лытать» означало ещё и «высматривать, выглядывать». В этом случае Лытарь — это дозорный или наблюдатель. Однако эта гипотеза слабее: в прозвищах ремесленного типа значение «бездельник» или «бродяга» встречается гораздо чаще, чем «соглядатай». Сравните с фамилиями Гуляев, Шаталов, Бродников — все они образованы от тех же корней, что и Лытарев.

Если смотреть на словообразовательную модель, то фамилия Лытарев стоит в одном ряду с Писаревым, Звонаревым, Бондаревым. Все они образованы от названия лица по занятию (или прозвищу) плюс притяжательный суффикс. Разница лишь в том, что Писарь и Бондарь — это уважаемые ремёсла, а Лытарь — социальная характеристика. Это не значит, что предок был плохим работником: прозвища такого рода часто давали в насмешку или «от обратного», а закреплялись они за детьми уже как нейтральная фамилия.

В документах XVI–XVII веков встречаются отдельные упоминания крестьян и посадских людей с прозвищем Лытарь, но систематических записей по фамилии Лытарев в дореволюционных источниках немного. В основном это крестьянские и мещанские роды из северных губерний. Никаких громких исторических фигур с этой фамилией не известно, что вполне типично для фамилии, образованной от бытового прозвища.