Фамилия Погор представляет собой застывшую форму прозвища, которое, вероятно, восходит к глаголу «погореть». Можно предположить, что Погором прозвали погорельца, то есть человека, дом и имущество которого спалил пожар. В старину о таких людях говорили: «Погорельцы на погорелое собирают». «На погорелое лучше отдать, чем собирать». «Поехал в Москву торговать: на погорелое собирать». Однако нельзя исключать, что Погором прозвали разорившегося купца, предпринимателя, дело которого не удалось, «прогорело».