Фамилия Горчилин — редкий случай, когда прозвище, лёгшее в основу, почти наверняка связано не с характером человека, а с растением или продуктом. В отличие от более частых «сладких» или «кислых» фамилий (Сладков, Кислов), здесь мы имеем дело с горьким и жгучим вкусом. Основа — слово «горчица», но не в значении пряности, а как прозвище. Горчицей в народе могли называть язвительного, «едкого» человека или того, кто любил острую пищу. Однако куда вероятнее, что прозвище относилось к торговцу или производителю горчицы — ремесло было конкретным и заметным.

Суффикс -ин указывает на принадлежность: «чей сын?» — Горчилин, то есть потомок Горчилы. В русской антропонимии суффикс -ин обычно присоединялся к основам на -а/-я, и форма «Горчила» как личное прозвище вполне естественна. Интересно, что фамилия сохранила именно суффикс -ин, а не более распространённый -ов (Горчилов), что говорит о её относительно раннем закреплении в северных или центральных говорах, где -ин был особенно активен.

Географически фамилия тяготеет к центральным регионам России — Тульской, Рязанской, Владимирской областям. Встречается она нечасто, что подтверждает её узкопрофессиональное или прозвищное происхождение. В дореволюционных переписях носители Горчилины могли быть как крестьянами, так и мещанами, занимавшимися огородничеством или мелкой торговлей — горчицу в России выращивали повсеместно, но как промысел она не была массовой.

Если сравнивать с однокоренными фамилиями — Горчичников, Горчичный — то Горчилин выглядит более архаичным. Унбегаун в своём словаре русских фамилий не выделяет её отдельно, но модель прозвищ от названий растений и продуктов он описывает как типичную для XVII–XVIII веков. Споров вокруг корня нет: версия с «горьким» характером (от слова «горький») менее убедительна, так как в русском языке для обозначения горечи есть отдельные корни, а «горчица» — это уже производное растение. Так что предок нынешних Горчилиных, скорее всего, либо сам растил горчицу, либо славился острым языком.