Фамилия Загоря образована от аналогичного прозвища, которое, очевидно, ведёт начало от нарицательного «гора» и указывает на местность, в которой некогда жил предок - «за горами», то есть за холмами.