Фамилия Пытов образована от прозвища Пыт. Оно восходит к глаголу «пытать» — «испытывать, искушать, познавать свойство, доброту, годность чего-либо». Возможно, что Пытом называли не в меру любопытного человека («Пытливый ум человека далеко заходит»). Маловероятно, но не исключено, что такое прозвище мог получить жестокий, безжалостный человек, который для достижения своих целей мог прибегнуть к угрозам и рукоприкладству. Таким образом, потомок человека, обладающего прозвищем Пыт, со временем получил фамилию Пытов.