Фамилия Кугай — редкий случай в русском ономастиконе, где прозвище перешло в фамилию почти без изменений, без типичных суффиксов -ов, -ин или -ский. Это сразу указывает на её позднее происхождение и, скорее всего, украинские или белорусские корни. В этих землях фамилии без суффикса (так называемые «чистые основы») встречаются намного чаще, чем в великорусских губерниях.

Основа фамилии — слово «куга». Так в южных и западных диалектах называют рогоз, камыш или осоку, точнее — их плотные метёлки, которые использовали для набивки матрасов, плетения циновок или даже как топливо. Человек по прозвищу Кугай — это, скорее всего, тот, кто имел отношение к этому растению: жил в камышовых зарослях, заготавливал кугу для продажи или крыл ею крышу. Реже прозвище могли дать за внешнее сходство — высокому, худощавому человеку с жёсткими торчащими волосами, напоминающими метёлку рогоза.

Менее вероятная, но лингвистически допустимая версия — связь с тюркскими языками. В некоторых тюркских наречиях «кугай» или «куга» означает «лебедь». В этом случае прозвище могло достаться человеку с белой кожей, светлыми волосами или плавной походкой. Однако ареал распространения фамилии (в основном западные области России, Украина, Беларусь) склоняет к первой, славянской версии.

Фамилия Кугай не относится к дворянским или купеческим — это типичное крестьянское или казачье прозвище. В ревизских сказках XIX века её носители встречаются среди государственных крестьян Черниговской, Киевской и Полтавской губерний. Сейчас фамилия остаётся редкой и сосредоточена в тех же регионах, а также в среде переселенцев на Дальнем Востоке и в Сибири.