Прозвище Гоца, вероятно, восходит к диалектному слову «гоцать», то есть «гарцевать, прыгать, танцевать вприсядку». Скорее всего, Гоцей прозвали веселого, подвижного, заводного человека. По другой версии, фамилия Гоца является украинизированным вариантом еврейской фамилии Гоц. Она в свою очередь произошла от аббревиатуры «гер цедек», что в переводе с иврита означает «праведный проселит (принявший иудаизм)». Также возможно, что фамилия Гоц произошла от аббревиатуры «габай цдака» — «человек, который заведует пожертвованиями для бедных в определённой общине или в городе».