Фамилия Багза, скорее всего, образована от мужского имени Багза, которое восходит к осетинскому слову «багæдзæ» — «подождать». Имя с таким значением могли дать долгожданному или первому сыну в семье, подчёркивая, что его появления ждали. Эта версия выглядит убедительнее другой, менее правдоподобной, которая выводит фамилию из осетинского «бæгъа» — «мальва». Сторонники второй гипотезы предполагают, что родоначальник Багза мог быть знахарем, собиравшим лекарственные травы, но связь между растением и личным именем слабее.

Фамилия оформлена без типичных для русского языка суффиксов (-ов, -ев, -ин), что указывает на её возможное сохранение в исходной, нерусифицированной форме. Такая модель встречается у фамилий, которые закрепились в документах уже после того, как основная масса русских родов прошла этап добавления суффиксов. Географически фамилия Багза тяготеет к регионам, где осетинский язык был в ходу — в первую очередь к Северной Осетии. Точное время возникновения рода установить сложно: процесс закрепления фамилий был долгим, и без серьёзных генеаленических изысканий можно говорить лишь о наиболее вероятном пути — от имени-прозвища, данного по обстоятельствам рождения.