Фамилия Хертупой — редчайший случай в русской ономастике, и её разбор требует нестандартного подхода. С первого взгляда бросается в глаза необычное окончание «-ой». В русских фамилиях оно встречается, но чаще в форме прилагательного (Толстой, Блаженной) или в украинизированных вариантах. Однако здесь окончание выглядит как застывшая форма творительного падежа единственного числа существительного мужского рода: «Хертупой» — то есть «(кем?) Хертупой». Это наводит на мысль об иноязычном происхождении или о том, что фамилия была записана на слух с искажением.

Самая правдоподобная версия связывает фамилию с финно-угорскими языками, распространёнными на северо-западе России и в Прибалтике. В коми-пермяцком, удмуртском или марийском языках основа могла звучать как «керт» или «херт» — со значением «запор», «замок», «закрытое место». Вторая часть «-пой» (или «-пуй») в тех же языках означает «дерево» или «пень». Таким образом, «Хертупой» могло быть прозвищем человека, жившего у «запертого дерева» — возможно, у дупла с заслоном, или у дерева, перегородившего тропу. Впрочем, «пой» могло быть искажением от «пуй» — «мальчик», «сын» (ср. коми «пи» — сын). Тогда фамилия означала бы «сын Херта», где «Херт» — личное имя или прозвище.

Менее вероятна, но не исключена связь с немецким языком. Слово «Hert» (от «Herz» — сердце) в диалектах могло дать прозвище, а «Poy» — искажённое «Bube» (мальчик, парень). Однако для русского уха такое сочетание звучит слишком искусственно, и географически фамилия скорее тяготеет к северным регионам, где активно шло смешение с финно-угорскими народами.

Суффиксальная модель в фамилии не выражена: нет типичных русских -ов, -ев, -ин. Это указывает на то, что фамилия закрепилась в форме, близкой к исходному прозвищу, без дополнительного оформления. В документах XVII–XVIII веков такие «голые» фамилии встречались у крестьян и однодворцев, особенно на окраинах Московского государства, где приказные писали прозвище так, как слышали.

Если искать аналоги, то напрашивается сравнение с фамилией Хертопой (с буквой «о»), которая встречается у коми-зырян. Разница в гласной могла возникнуть из-за акающего произношения: в говорах «Хертупой» и «Хертопой» звучат почти одинаково. В этом случае основа «херт-» связывается с коми «керт» — «железо», а «пой» — «конец», «край». Получается «железный край» — прозвище кузнеца или человека, жившего у железных рудников.

Единой версии происхождения фамилии Хертупой нет, и вряд ли она появится без архивных записей. Но наиболее обоснованным выглядит финно-угорский след: прозвище по месту жительства или занятию, записанное русскими писцами с искажением и застывшее в необычной грамматической форме.