Фамилия Терлов — редкий случай, когда прозвище перешло в наследственное имя почти без изменений. В её основе лежит слово «терло», которое в русских говорах означало «терпуг», «напильник» или «рашпиль». Так могли прозвать либо мастера, работавшего с этим инструментом, — кузнеца, оружейника, столяра, — либо человека с острым, «цепляющим» характером, которого в народе сравнивали с грубой тёркой.

Словообразовательная модель проста: корень «терл-» плюс типичный русский суффикс принадлежности «-ов». Фамилия отвечает на вопрос «чей?» — то есть «сын Терла» или «из семьи Терла». В отличие от фамилий на -ин, которые образуются от основ на -а/-я, Терлов использует суффикс -ов, что указывает на мужское прозвище с твёрдым согласным на конце. Интересно, что в некоторых говорах «терло» могло обозначать не только инструмент, но и «трение» или «ссору» — тогда прозвище могло закрепиться за сварливым, неуживчивым человеком.

Географически фамилия тяготеет к южнорусским и центральным областям: Курской, Орловской, Тамбовской губерниям. В XIX веке Терловы встречались среди однодворцев и государственных крестьян, то есть людей, лично свободных, но не имевших дворянского статуса. Дворянских родов с такой фамилией в «Общем гербовнике» не зафиксировано — это надёжный признак её крестьянского или мещанского происхождения.

Спорных версий у фамилии немного. Иногда её пытаются связать с тюркским словом «тер» (пот) или «терлик» (вид обуви), но это выглядит натяжкой: в русской ономастике нет убедительных примеров заимствования такого корня в форме «терл». Гораздо логичнее объяснение через народную лексику ремёсел, тем более что слово «терло» в значении «напильник» отмечено в словаре Даля и в диалектных сборниках. Таким образом, предок современного носителя фамилии Терлов с высокой вероятностью был человеком, чьё занятие или характер описывали через образ грубого, рабочего инструмента.