Не исключено, что она связана с ласковым прозвищем «гуль» - «голубочек». Возможно, фамилия Гульцев восходит к тюркскому quli - «слуга». В этом случае предок человека с такой фамилией получил прозвище Гулец в связи со своим социальным положением. Таким образом, прозвище Гулец мог получить человек неработающий, возможно, ленивый, любящий гулять, жить на широкую ногу. Таким образом, потомок человека, обладающего прозвищем Гулец, со временем получил фамилию Гульцев.