Фамилия Костырин образована от прозвища Костырь. Самое частое объяснение этого прозвища — от слова «костырь», то есть игрок в кости. В старину шестигранные кубики были орудием азартной игры, которую власти нередко преследовали. Позже костырём стали называть и страстного картежника. Так что предок-Костырин мог быть любителем рискованных игр. Но это не единственная версия. В рязанских говорах костырём называют занозу, щепочку или спичку. Отсюда прозвище могло достаться человеку назойливому, раздражающему, как заноза, либо, наоборот, очень худому — как спичка. Фамилия образована по стандартной русской модели с суффиксом -ин, который указывает на принадлежность: «чей?» — Костырин, то есть сын Костыря. Таким образом, у фамилии два смысловых полюса: азартный игрок или человек с колким, худощавым нравом и внешностью. Какая из версий верна для вашей конкретной ветви, без генеалогического исследования сказать трудно, но обе имеют под собой реальную языковую почву.