Фамилия Голубь — одна из тех, что образована напрямую от прозвища, без добавления типичных русских суффиксов -ов или -ин. В основе лежит название птицы, которая издревле считалась символом духовной чистоты и целомудрия. Такие «птичьи» фамилии без суффикса характерны для южных и западных регионов России, а также для Украины и Беларуси, где подобная модель словообразования встречается чаще, чем на севере.

Прозвище Голубь могли дать человеку за кроткий нрав, миролюбивый характер или внешнее сходство — например, за седые волосы, напоминающие голубиное оперение. В некоторых случаях прозвище могло быть ироничным: так называли драчливого или вспыльчивого человека — по контрасту с поведением настоящего голубя. Ономасты, в частности Б. Унбегаун, относят такие фамилии к группе, образованной от названий животных и птиц, которые на Руси часто становились основой для прозвищ.

В документах XVII века встречаются упоминания крестьян и посадских людей с этим прозвищем — например, в переписных книгах южных уездов. В отличие от фамилий Голубев или Голубков, которые говорят о родстве («чей-то сын»), фамилия Голубь в чистом виде указывает на то, что прозвище закрепилось за родоначальником без изменений. Это более архаичная форма, сохранившая прямую связь с исходным словом.

Встречается и редкий вариант с ударением на последний слог — Голубь, что свойственно украинской фонетике. В русском языке ударение обычно падает на первый слог. Географически фамилия чаще всего фиксируется в Воронежской, Курской и Ростовской областях, а также на Кубани — в регионах, где исторически было сильно украинское влияние.