Фамилия Костерин — наглядный пример того, как прозвище, данное человеку по занятию или характеру, закрепилось в родовом имени. В её основе лежит слово «костерь» (в старом написании часто «костер»). Так называли жёсткую, ломкую часть стебля льна и конопли, которая остаётся после трепания и чесания — то, что в современном языке зовут кострой. Соответственно, Костерем могли прозвать мастера, который обрабатывал лён или коноплю: трепальщика, прядильщика. Работа с кострой была пыльной и тяжёлой, поэтому прозвище могло закрепиться и за человеком грубого, «колючего» нрава — по аналогии с жёсткими отходами растения.

Есть и вторая, не менее убедительная версия. В русских говорах «костерь» (или «костырь») означало не только растительные отходы, но и азартного игрока в кости или бабки. Позже это слово перешло и на картёжников. В старину игре в кости приписывали мошеннический оттенок, так что прозвище Костерь могло указывать на человека, промышлявшего такой игрой. Какая из версий верна для конкретного рода Костериных — зависит от местных говоров и семейных преданий, но обе имеют под собой реальную лексическую почву.

Менее вероятна связь фамилии с крестильным именем Константин (от лат. constans — «стойкий, постоянный»). Если бы Костерины происходили напрямую от Константина, мы бы ждали форму «Константинов» или, в просторечии, «Костяев». Суффикс -ин указывает на происхождение от прозвища или имени на -а/-я: Костеря → Костерин. Такая модель типична для северных и центральных русских земель, где суффикс -ин так же распространён, как -ов на юге.

Фамилия Костерин — не единственная в этом ряду. Однокоренные Костеров, Костырев, Костерюков образованы от тех же корней, но с разными суффиксами, что говорит о широкой бытовой основе прозвища. В документах XVII века встречаются крестьяне и посадские люди с прозвищем Костерь — например, в переписях Вологды и Устюга Великого. Точную дату возникновения фамилии назвать сложно: процесс становления русских фамилий растянулся на несколько столетий, но к концу XVIII века Костерины уже фиксируются в разных губерниях, от Архангельской до Рязанской.