Фамилия Костеннов — редкий случай, когда двойное «н» в суффиксе не опечатка, а осмысленная модель. Большинство фамилий на «-ов» пишутся с одним «н»: Кузнецов, Петров. Двойное «н» здесь — следствие того, что основа фамилии оканчивается на «н»: Костен + нов. То есть Костеннов — это не «сын Костенна», а «сын Костена», но с последующим наращением суффикса «-нов», который встречается у фамилий, образованных от прозвищ или имен на «-ен» (сравните: Костенок — Костенков, но здесь иная модель).

Основа «Костен» — это краткая форма от канонического имени Константин (в народном произношении Костентин, Костен). В русских говорах имя часто усекали: Костя, Коста, Костен. Фамилии Костенко, Костенков, Костенюк широко распространены на юге и западе России. Костеннов же — северный или центральный вариант, где суффикс «-ов» закрепился как стандартный, а двойное «н» возникло из-за того, что прозвищная форма уже содержала конечный «н».

Возможна и другая, менее вероятная версия: от прозвища Костенный — то есть «крепкий, как кость», «костлявый» или «имеющий отношение к кости» (например, косторез). Но тогда фамилия писалась бы через «-ый»: Костенный. Переход в Костеннов — случайная или намеренная переделка при записи в метрических книгах.

Географически фамилия редкая, встречается точечно в центральных областях России. Носители Костенновы, скорее всего, происходят из крестьянской или мещанской среды, где фамилии окончательно закрепились в XIX веке. Двойное «н» не влияло на произношение, но при переписях и в документах могло путаться с более частыми формами — Костенов, Костенков.

Итог: Костеннов — фамилия, построенная по старой модели «имя + суффикс принадлежности», но с удвоением из-за стыка основы и суффикса. Предок звался Костеном — уменьшительным от Константина, а фамилия закрепилась в том варианте, который записал писарь.