Фамилия Костарев (а в ряде говоров и Костырев) образована от прозвища Костарь. В старину так называли заядлого игрока в кости — азартную игру, известную с глубокой древности. В отличие от многих прозвищ, образованных от ремесла или внешности, это указывает на конкретное увлечение или даже порок предка. Игра в кости упоминается ещё в «Махабхарате» и Библии, была популярна в Древнем Риме и на Руси.

Любопытно, что изначально кости делали из фаланг и суставов животных — это связывало игру с древними гаданиями и ритуалами. Результат броска нередко считался волей богов или судьбы. Поэтому прозвище Костарь могло относиться не только к азартному человеку, но и к тому, кто увлекался ворожбой на костях. Вторая версия, менее распространённая, возводит основу к диалектному «костарь» — так в некоторых областях называли корзинщика или плетельщика из лозы, но она уступает по убедительности первой, подкреплённой историей игры.

Фамилия построена по типичной восточнославянской модели: прозвище на -арь (Костарь) плюс притяжательный суффикс -ев. Суффикс -арь в русских прозвищах часто обозначал деятеля («игрец», «плясун»), что хорошо согласуется с версией об игроке. Географически фамилия распространена в центральных и южных регионах России, особенно в бывших казачьих областях, где игра в кости была привычным досугом. Встречается и вариант Костырев — с «ы» в корне, что отражает местное произношение или старую орфографию.