Фамилия Пебалк, вероятно, является фонетическим вариантом фамилии Пебалг. Она образована от прозвища, которое восходит к названию замка Пиебалг. Он находится недалеко от современного города Вицпиебалга в Латвии. Пиебалга в исторических документах впервые упомянута в 1318 году. Рижский архиепископ Фридрих в 1340 году построил Пиебалгский замок и церковь, которую в 1577 году сильно разрушило войско Ивана Грозного. В 1599-1625 годах замок и область принадлежали польскому полководцу Дембинскому. В 17 веке от Пиебалги отделили Яунпиебалгское имение и тогда Пиебалгу стали называть Вецпиебалгой. Когда в 1710 году фельдмаршал Шереметев завоевал Видземе, по его просьбе Петр I отдал ему Вецпиебалгу и Яунпиебалгу. Потомкам Шереметева обе Пиебалги принадлежали до Октябрьской революции. Вероятно, основатель рода Пелбак был выходцем из этой местности.