Оно восходит к глаголу «пытать» — «испытывать, искушать, познавать свойство, доброту, годность чего-либо». Возможно, что Пытовым называли не в меру любопытного мужичка («Пытливый ум человека далеко заходит»). Маловероятно, но не исключено, что такое прозвище мог получить жестокий, безжалостный человек, который для достижения своих целей мог прибегнуть к угрозам и рукоприкладству.