Фамилия Лютой — редкий случай, когда ударение на окончании не оставляет сомнений в происхождении. Это не вариант фамилии Лютов и не усеченная форма Лютый. Суффикс -ой в русских фамилиях — реликт кратких прилагательных в именительном падеже мужского рода (ср. Толстой, Благой, Грязной). В современном языке такие формы застыли: мы говорим «лютый», а в древности говорили «лютой». Так что перед нами архаичная запись того, что сейчас пишется как Лютый.

Основа фамилии — древнерусское прозвище Лютой (или Лютый). В XI–XVI веках слово «лютый» означало не только «свирепый», но и «суровый», «неистовый в бою», «беспощадный к врагу». Прозвище давали воину, который отличался яростью в сече, или человеку с крутым нравом. В новгородских и псковских берестяных грамотах встречаются упоминания людей с таким прозвищем — скорее всего, это были дружинники или боярские холопы, которых боялись соседи.

Любопытно, что фамилия Лютой встречается почти исключительно в южнорусских и украинских говорах, где окончание -ой сохранилось дольше, чем на севере. В современных базах данных носители фамилии сконцентрированы в Белгородской, Воронежской и Ростовской областях, а также в Краснодарском крае. Это указывает на то, что предки носителей фамилии, скорее всего, были служилыми людьми или казаками: именно в казачьей среде прозвища, подчеркивающие боевые качества, закреплялись в качестве фамилий особенно часто.

Есть и вторая, менее вероятная версия: отчество от мирского имени Лютой. В дохристианской Руси существовали имена-обереги, которые давали, чтобы отвратить зло. Ребенка могли назвать Лютым, чтобы он вырос сильным и никто не посмел его обидеть. Но в этом случае фамилия писалась бы через -ой, а не через -ый, что и подтверждает ее древность.

В отличие от фамилии Лютов (от притяжательного прилагательного «лютов» — сын Лютого), фамилия Лютой вообще не содержит указания на родство. Это прямое прозвище, которое стало фамилией без всяких суффиксов. Таких фамилий в русском языке единицы — они ценны для историков языка как живые свидетели древней грамматики.