Прозвище Дворяга восходит к украинскому слову «дворак» - «крестьянин, который работает в барском дворе; дворовой». Таким образом, прозвище Дворяга содержит указание на социальное положение основателя рода. Таким образом, потомок человека, обладающего прозвищем Дворяга, со временем получил фамилию Дворягина.