Фамилия Вальдовская ведет свое начало от географического названия Вальдов (замок и волость в Пруссии). Официальное упоминание о строительстве крепости «Вальдов», помечено в хронике за 1258 год. Название это происходит от прусского «владеть» (по другой версии — от немецкого Wald - «лес»). Действительно, окрестными землями владели два прусса, Брулант и Диабель, которых называли «локаторами», или князьями. В 1264 году, по требованию орденских властей, князья заложили возле дороги промежуточную крепость. Здесь останавливались служилые люди Ордена, священники и воины. Они отдыхали и подкрепляли свои силы едой. В каминном зале за кружкой ячменного пива или бутылочкой яблочного вина купцы обсуждали свои коммерческие дела. После овладения Надровией и Судовией (Ятвягией) граница с Литвой отдалилась на почтительное расстояние, и надобность в крепости отпала. В 1457 году старые сооружения переделали под замок. Он использовался как летняя резиденция Великого магистра Ордена. После реформации 1525 года в замке разместились административные службы Вальдовской волости. В результате, потомок человека, обладающего прозвищем Вальдовский, со временем получил фамилию Вальдовская.