Фамилия Кострец — редкий случай, когда прозвище перешло в фамилию почти без изменений, минуя типичные суффиксы -ов или -ин. Основа здесь не имя и не профессия, а конкретный предмет или явление. Слово «кострец» в русских говорах имело два основных значения. Первое, более древнее, — место для костра, кострище, иногда так называли и сам костёр. Второе, анатомическое, — нижняя часть спины, крестец, поясница у человека или круп у животного.

Скорее всего, фамилия закрепилась за человеком по внешнему признаку. В крестьянской среде прозвище Кострец могли дать тому, кто отличался широким или сильным задом, либо, наоборот, хромал или имел больную поясницу. Прозвища по частям тела в русской ономастике встречаются часто (Горбач, Губа, Нос), и Кострец стоит в этом же ряду. Менее вероятна, но возможна связь с местом жительства: человека, жившего у большой выжженной поляны или старого кострища, могли прозвать Кострецом.

Словообразовательная модель без суффикса указывает на то, что фамилия оформилась в среде, где прозвище не нуждалось в дополнительном «украшении» — возможно, на севере или в Сибири, где фамилии на -ов и -ин приживались медленнее, чем в центральных губерниях. В словарях Б. Унбегауна и В. Никонова отдельной статьи о фамилии Кострец нет, но она упоминается в контексте прозвищ от названий частей тела. Однокоренные фамилии — Костриков, Кострикин — образованы уже от той же основы, но с помощью типовых суффиксов, и встречаются гораздо чаще.

Фамилия редкая, географически может быть привязана к Вологодской, Архангельской областям или к Уралу, где диалектное слово «кострец» в значении «кострище» активно бытовало ещё в XIX веке. Носители фамилии, скорее всего, происходят из крестьян или казаков: прозвища такого типа редко давали духовенству или дворянам.