Оно, предположительно, восходит к топониму Пихль (Pichl). Так называется населенный пункт в Германии. Компонент –сон берет начало от немецкого нарицательного Sohn со значением «сын». Вероятно, прозвище Пихельсон получил человек, который был потомком выходца из Пихеля. Возможно также, что фамилия Пихельсон образована от имени Пихель. Оно, скорее всего, берет начало от эстонского нарицательного pihla со значением «рябина». Давая младенцу имя со значением «рябина», родители хотели, чтобы природа воспринимала ребенка как своего, чтобы к нему перешли те полезные качества, которыми наделено это растение. Фамилия Пихельсон могла образоваться под немецким влиянием, не что указывает наличие суффикса –сон со значением «сын». Этот фикс часто используется при образовании патронимических фамилий.