Фамилия Когтенкова — женская форма фамилии Когтенков, и её разбор стоит начать с мужского варианта, который встречается гораздо чаще. С первого взгляда корень «когт-» наводит на мысль о когтях, но это прямое и не самое вероятное объяснение.

Словообразовательная модель здесь нестандартна. Суффикс «-енков» характерен для русских фамилий, особенно для южных и восточных регионов (например, в бывшей Орловской, Курской, Воронежской губерниях). Обычно такие фамилии образуются от прозвищ или имён, оканчивающихся на «-я», «-а» или согласный: Котя → Котенков, Когтя → Когтенков. Но «Когтя» — форма редкая и не отмечена в старых источниках как самостоятельное имя или прозвище.

Более правдоподобна версия, что в основе лежит не коготь, а диалектное или искажённое слово. В русских говорах «коготь» могло означать не только ноготь зверя, но и, например, заусенец, заноза, цепкий человек. Прозвище Коготь (или Коготок) давали либо сварливому, «цепкому» человеку, либо тому, кто занимался ремеслом, связанным с острыми предметами — например, кожевник или кузнец. От этого прозвища через форму «Коготенок» (сын Когтя) и могла пойти фамилия Когтенков. Чередование «т/т» здесь закономерно: Когот — Когтенков.

Встречаются и единичные случаи написания через «д» — Когденков, что может указывать на диалектное произношение (оглушение «г» перед глухим «т»). Географически фамилия Когтенков крайне редка и фиксируется преимущественно в центральной России и Поволжье, что косвенно подтверждает её народное, а не книжное происхождение. В дворянских родословных книгах она не значится — скорее всего, это крестьянская или мещанская фамилия, образованная от уличного прозвища.