Фамилия Торховы хранит память о месте, откуда пошел род, — и это редкий случай, когда топонимическая версия подкреплена конкретными документами. В основе фамилии лежит название деревни Торхово (в старых источниках — Тархово), что стояла в Раменской волости. Первое упоминание о ней относят к 1625–1627 годам: тогда она числилась деревней Тархово в вотчине боярина Алексея Петровича Салтыкова. Позже, по данным 1852 года, Тарховым владел действительный статский советник Павел Михайлович Балк. В семи дворах тогда жили 44 мужчины и 41 женщина, а спустя тридцать лет — уже 99 жителей; перепись того времени зафиксировала 22 хозяйства и 113 человек. Урон деревне нанесли военные события 1941 года и последующее объявление её «неперспективной»: к переписи 1989 года на три хозяйства Торхова приходилось всего два жителя.

Название села, скорее всего, восходит к старинному имени Тарх, которое связывают с греческим словом «тарахос» — «волнение, неурядица». Под влиянием исторических языковых изменений произошло чередование а/о, и Тархово превратилось в Торхово. Вполне вероятно, что предок Торховых родился и жил в этом населенном пункте, а фамилия закрепилась за его потомками как указание на малую родину.

Существует и другая, менее правдоподобная версия — от прозвища Торох, связанного с украинским словом «торох» (тарахтенье, грохот). Так могли назвать шумного человека или обладателя зычного голоса. Но здесь есть любопытный поворот: в иконописи «торохами» называют ленту, которая, как античная диадема, проходит над челом и развевается концами у висков. По древнерусским толкованиям, через торохи ангелы получают повеления от Бога. Исходя из этого, можно предположить, что прозвище Торох носил иконописец. В таком случае второй гласный «о» мог быть беглым и чередоваться с нулем звука, как в парах сон — сна, дубок — дубка: торох — торх.

О точном времени возникновения фамилии говорить сложно: процесс формирования фамилий был длительным, а письменные источники по крестьянским родам нередко скудны. Однако сама фамилия Торховы — ценный памятник славянской письменности и культуры, в котором сплелись история конкретного села, особенности древнерусского имени и возможные прозвищные мотивы.