Фамилия Пихелпуу — редкий пример фамилии, целиком построенной на эстонском словосочетании. Вопреки привычной для русских фамилий модели с суффиксами -ов или -ин, здесь мы видим чистое сложение двух основ: pihl (pihla) — «рябина» и puu — «дерево». То есть буквально Пихелпуу — это «рябиновое дерево», сама рябина.

Скорее всего, фамилию образовали от аналогичного личного имени или прозвища. В эстонской народной традиции давать ребенку имя по названию дерева или растения — не редкость: так природа словно принимала младенца «за своего», а вместе с именем к человеку переходили полезные качества, которыми наделяли это дерево. Рябина в Прибалтике считалась оберегом, символом защиты от зла и болезней, поэтому именование должно было принести ребенку здоровье и стойкость.

Не исключено, что Пихелпуу было не именем, а прозвищем взрослого человека. Тогда версии расходятся. Первая: основатель рода жил неподалеку от рябиновой рощи или его дом стоял под заметным рябиновым деревом — такие ориентиры часто ложились в основу фамилий по месту жительства. Вторая: прозвище отражало внешность. Худощавого, высокого и гибкого человека в народе могли сравнить с рябиной — деревом тонким, но крепким.

Сама форма фамилии — без каких-либо родовых окончаний — указывает на позднее, скорее всего, XIX — начало XX века оформление, когда эстонские крестьяне массово получали фамилии. До этого у них были только личные имена и дворовые прозвища. В отличие от русских фамилий, где суффикс указывает на принадлежность роду («чей сын»), Пихелпуу — это застывшее прозвище, которое просто закрепилось за семьей.

Встречается фамилия преимущественно в Эстонии и среди эстонской диаспоры. В русскоязычной среде она почти не адаптировалась и сохранила исконное написание, что делает ее легко узнаваемой и необычной для слуха.