Фамилия Потори — редкая и неочевидная для русского уха. В ней нет привычных суффиксов -ов, -ин или -ский, которые указывали бы на типичную русскую модель образования от отчества. Это сразу наводит на мысль, что перед нами либо фамилия позднего происхождения, либо заимствованная, либо усечённая форма более длинной фамилии.

Скорее всего, основа «Потори» — это прозвище или географическое название. Если разбирать корень, можно предположить связь с диалектным словом «потора» — так в некоторых русских говорах называли спешку, суету, торопливость. Прозвище Поторя могли дать человеку суетливому, непоседливому или, наоборот, тому, кто вечно всех торопил. В этом случае фамилия образована напрямую от прозвища без добавочных суффиксов — так называемые «нулевые» фамилии, характерные для украинской, белорусской и южнорусской традиции (сравните: Шевченко, Бондарь, а в русском — Сорока, Голова). Фамилия Потори могла закрепиться в форме именительного падежа множественного числа (как ответ на вопрос «Чьи вы?» — «Поторы»), что типично для фамилий на -ых/-их, но здесь окончание редуцировалось до -и.

Менее вероятная, но возможная версия — топонимическое происхождение. В Польше и на западе Украины есть населённые пункты с похожими названиями (например, Поторица). Фамилия могла возникнуть у выходца из такого места. В пользу этого говорит и окончание -и, которое встречается у фамилий польского или украинского происхождения (Ковальски, Баранович, Потоцкий — и тут же Потори, как усечённый вариант от «Потоцкий»?).

С уверенностью можно сказать одно: фамилия недворянская и не из числа распространённых. Она могла возникнуть в крестьянской или мещанской среде, где прозвища закреплялись за родом без лишних формальностей. Встречается она крайне редко, в основном на юге России и в западных областях. Если ваши предки носили эту фамилию, стоит поискать её в метрических книгах Курской, Воронежской или Могилёвской губерний — там вероятность найти корни выше.