Фамилия Пебалг, вероятно, образована от аналогичного прозвища, которое восходит к названию замка Пиебалг. Он находится недалеко от современного города Вицпиебалга в Латвии. Пиебалга в исторических документах впервые упомянута в 1318 году. Рижский архиепископ Фридрих в 1340 году построил Пиебалгский замок и церковь, которую в 1577 году сильно разрушило войско Ивана Грозного. В 1599-1625 годах замок и область принадлежали польскому полководцу Дембинскому. В XVII веке от Пиебалги отделили Яунпиебалгское имение и тогда Пиебалгу стали называть Вецпиебалгой. Когда в 1710 году фельдмаршал Шереметев завоевал Видземе, по его просьбе Петр I отдал ему Вецпиебалгу и Яунпиебалгу. Потомкам Шереметева обе Пиебалги принадлежали до Октябрьской революции. Вероятно, основатель рода Пелбалг был выходцем из этой местности.