Фамилия Вальдовская — женская форма от Вальдовский, и её происхождение крепко связано с конкретным местом на карте, а не с личным прозвищем или ремеслом. В основе лежит географическое название Вальдов — замок и волость в Пруссии. Официальное упоминание о строительстве крепости «Вальдов» помечено в хронике за 1258 год. Само название, скорее всего, восходит к немецкому Wald — «лес», хотя есть и версия о прусском корне со значением «владеть».

История этой крепости хорошо документирована, что даёт редкую для фамилий глубину. В 1264 году по требованию орденских властей местные князья-«локаторы» Брулант и Диабель заложили промежуточную крепость возле дороги. Здесь останавливались служилые люди Ордена, священники и воины, а в каминном зале купцы за кружкой ячменного пива обсуждали дела. Когда граница с Литвой отодвинулась, надобность в крепости отпала, и в 1457 году её переделали под замок — летнюю резиденцию Великого магистра Ордена. После реформации 1525 года в замке разместились административные службы Вальдовской волости.

Фамилию образовали по типичной для шляхты и духовенства модели с суффиксом -ский/-цкий, указывающим на принадлежность к местности. Вальдовский — это человек, владевший землёй или служивший при замке Вальдов, либо выходец оттуда. Соответственно, Вальдовская — его потомок по женской линии. В отличие от распространённых крестьянских фамилий на -ов/-ев, эта форма сразу выдаёт возможное дворянское или служилое происхождение предков, связанных с историей Тевтонского ордена и Пруссии.