Фамилия Разговоров образована от прозвища Разговор. Оно ведет свое начало от аналогичного нарицательного со значением «словесный обмен сведениями, мнениями; беседа», «обсуждение кого или чего-либо». Вероятно, прозвище отражало особенности характера и поведение основателя фамилии (словоохотливость, общительность). Таким образом, потомок человека, обладающего прозвищем Разговор, со временем получил фамилию Разговоров.