Фамилия Когтина — женская форма, а её мужской вариант — Когтин. Это отчество, образованное от прозвища или нецерковного имени Когтя. Основа здесь — слово «коготь». В русских говорах «коготь» имело и переносные значения: так могли называть цепкого, хваткого человека, скрягу или, наоборот, того, кто «царапается», то есть сварливого, неуживчивого. Не исключено, что прозвище дали мастеровому — скажем, кузнецу или плотнику, работа которого требовала хватких, «когтистых» рук.

Суффикс -ин в фамилии Когтин указывает на принадлежность: «чей?» — Когтин, то есть сын Когти. В северных и центральных русских землях (Новгород, Псков, Вологодчина) отчества на -ин образовывали от слов женского рода и от прозвищ с окончанием на -а/-я. Когтя — слово мужского рода, но по форме оно оканчивается на -я, поэтому модель с -ин здесь закономерна.

Встречается фамилия редко. Её можно спутать с фамилией Когтев (от той же основы, но с другим суффиксом — -ев) или с Когтиным — вариантом того же корня, где ударение могло сместиться. В документах XVIII–XIX веков фамилия фиксируется в основном в центральных губерниях России, особенно в Тверской и Ярославской, где слово «коготь» в прозвищах было обычным. Среди крестьян и мещан такие прозвания давали без злого умысла — по заметной черте характера или внешности.

Если ваши предки носили фамилию Когтина, скорее всего, они были из среды крестьян или посадских людей. Дворянских родов с такой фамилией не известно, в родословных книгах она не значится. Это не делает её менее интересной: за ней стоит живое прозвище, отражающее народную наблюдательность и меткость языка.