Фамилия Горовцова — одна из тех, что образована от названия места, где жил или откуда был родом её первый носитель. В её основе лежит топоним — имя собственное, данное населённому пункту. Чаще всего в России, Украине и Белоруссии это деревни и сёла с названиями Горово или Горовец. Сами эти названия прозрачны по смыслу: они связаны с нарицательным «гора», то есть «всякая возвышенность». Первый Горовцов, скорее всего, был выходцем из такого селения — человека, переселившегося в другое место, называли по прежнему месту жительства.

Стоит, однако, присмотреться к суффиксу -овц-. В русских фамилиях он встречается реже, чем простой -ов, и часто указывает на более сложную модель образования. Фамилия Горовцов (женская форма — Горовцова) произошла не напрямую от названия деревни, а от прозвища Горовец. Так могли прозвать человека, пришедшего из Горово или Горовца. Суффикс -ец в прозвищах как раз и обозначал «житель такой-то местности» (сравните: тамбове́ц, туля́к). Затем к этому прозвищу добавили типичный русский фамильный суффикс -ов, получив фамилию Горовцов.

Есть и менее очевидная, но исторически обоснованная версия, связывающая фамилию с чешским городом Горовиц (чеш. Hořovice). Он расположен на крутом склоне над ручьём Червеным, примерно в пятидесяти километрах от Праги. В XIII веке на этом месте стояла крепость, вокруг которой вырос посёлок, а в 1322 году он получил статус города. Хотя связь с Чехией кажется неожиданной, она не лишена смысла: в XVII–XVIII веках в Россию переселялось немало выходцев из западных и южнославянских земель, и фамилии, образованные от иноземных топонимов, в русской среде встречаются. Однако эта гипотеза остаётся менее вероятной: подавляющее большинство носителей фамилии Горовцовых в исторических документах связано с восточнославянскими землями, где названий Горово и Горовец значительно больше.