Фамилия Коздрой — редкий случай, когда ударение падает на последний слог, а окончание -ой указывает на краткое притяжательное прилагательное мужского рода. В русской ономастике такие формы типичны для прозвищного происхождения: «Коздрой» означало «чей?» — сын или человек Коздра. Сама основа «Коздр» не имеет прямого соответствия в современном русском литературном языке, но её можно связать с диалектным словом «коздра» — так в некоторых говорах называли неопрятную, взлохмаченную женщину или, реже, сварливого человека. Корень здесь тот же, что в слове «козёл» (сравните: «козодрай» — драчун, задира), но с усечением и переосмыслением.

Вероятнее всего, прозвище Коздра дали человеку с нечёсаной, торчащей шевелюрой, напоминающей козлиную шерсть, либо тому, кто отличался вздорным, «козлиным» нравом. В пользу бытового, а не имени-основы происхождения говорит и суффиксальная модель: фамилия образована без патронимического суффикса -ов/-ев, напрямую от прозвища в форме прилагательного. Такие фамилии (Косой, Глухой, Толстой, а также Коздрой) чаще встречались у крестьян и посадских людей, чем у дворян, и закреплялись в документах как «Иван Коздрой» — то есть Иван, прозванный Коздрой.

Географически фамилия привязана к южнорусским и украинским землям — в ревизских сказках XIX века Коздрой встречается в Воронежской и Курской губерниях, а также среди казаков Харьковщины. Там слово «коздра» могло звучать как «коздря» (с мягким р) и означать также «ершистый, колючий» — отсюда же украинское «козуля» (коза) и «козодрай» (драчун). Таким образом, носитель фамилии Коздрой — потомок человека, которого в деревне запомнили за внешнюю неопрятность или колкий характер, и это прозвище стало родовым именем, обойдясь без дополнительных суффиксов.