Фамилия Гульдяев образована по стандартной для русских фамилий модели — с помощью патронимического суффикса -ев, который присоединяли к основе, оканчивающейся на мягкий согласный или й. В данном случае основа — Гульдяй. Это прозвище или некалендарное имя, бытовавшее в русской среде, особенно на северо-востоке и в Поволжье.

Корень здесь — гульд-, который напрямую связан со словом «гульдяй». В говорах так называли человека медлительного, вялого, неповоротливого, иногда — ленивого. Сравните с диалектными «гульдить» (медлить, мешкать) и «гульдень» (нерасторопный). Таким образом, первый носитель прозвища Гульдяй, скорее всего, получил его за неспешность или флегматичный нрав — черту, которую в деревенском быту замечали и закрепляли в прозвище.

Интересно, что фамилия Гульдяев встречается в основном в двух регионах: в Нижегородской области (особенно в бывшем Ардатовском уезде) и в Чувашии. Это указывает на то, что фамилия могла закрепиться среди русских крестьян, переселившихся на восток, или же — реже — могла быть русифицированной формой тюркского имени. В чувашском языке есть слово «култăй» (ленивый, неуклюжий), что фонетически близко к «Гульдяй», и не исключено, что в некоторых случаях фамилия возникла на стыке языков, когда русские соседи переделали тюркское прозвище на свой лад.

С точки зрения социального состава, Гульдяевы — это почти исключительно крестьяне, государственные или помещичьи. В дворянских родословных книгах фамилия не зафиксирована, что типично для прозвищных фамилий с диалектной основой. Ударение в фамилии, судя по говорам, падает на второй слог: Гульдя́ев.