Фамилия Костенёв образована от прозвища Костень. Чаще всего так называли человека чрезвычайно худого, костлявого — по слову «кость». Но это не единственная версия. В старину костенём могли прозвать заядлого игрока в кости, а позже, по аналогии, и страстного картёжника. В таком случае прозвище указывало не на внешность, а на поведение и увлечение человека.

В основе фамилии лежит суффикс -ев, характерный для русских фамилий, образованных от прозвищ или имён на мягкий согласный (Костень). Фамилия Костенёв — типичная «отпрозвищная» модель: сначала прозвище Костень закрепилось за человеком, а затем его потомки стали Костенёвыми. Ударение в фамилии падает на последний слог, что отличает её от фамилии Костенев (с ударением на второй слог), которая могла возникнуть от имени Константин или его уменьшительной формы Костя.

В ономастических словарях фамилия Костенёв обычно связывается именно с прозвищем от «кость». Версия с игрой в кости менее распространена, но исторически вполне правдоподобна: на Руси азартные игры были известны, и прозвища по такому признаку давали охотно. Выбрать одну версию сложно — обе имеют право на существование, и без точных сведений о конкретном предке определить, какая из них верна, невозможно.

Географически фамилия Костенёв встречается в центральных и южных областях России, а также на Украине. Встречаются варианты написания Костенев, но с ударением на последний слог форма Костенёв более устойчива и исторически точнее передаёт звучание прозвища. В дворянских родословных книгах эта фамилия не фиксируется — её носители, скорее всего, относились к крестьянскому или мещанскому сословию.