По одной из версий, прозвище Горжей происходит от польского слова gorzej - «хуже». Согласно суеверному обычаю, существовавшему на Руси, подобные прозвища с негативным значением присваивались детям с целью отвращения злых сил. Вероятно, надеясь иметь красивого и здорового мальчика, родители назвали его Горжей. Согласно другой гипотезе, эта фамилия происходит от польского глагола gorzec - «пылать, гореть». Возможно, Горжеем называли страстного, пылкого человека. Однако нельзя исключить, что в основе этой фамилии лежит заимствованное из французского языка слово «горжа» - «вход из укрепления в бастион, стык или встреча куртин; перехват». Возможно, Горжеем называли человека, жившего возле крепости.