Фамилия Нытенкова — женская форма от Нытенков, а та, в свою очередь, образована от прозвища или нецерковного имени Нытень. Разбор стоит начать с корня «ныт-», который в русских говорах имеет несколько значений, и все они нелестные. В словаре Владимира Даля глагол «ныть» означает «болеть, ломить, мозжить», а также «плакать, хныкать, докучать». Прозвище Нытень могли дать человеку вялому, постоянно жалующемуся на жизнь, или же тому, кто часто хворал и жаловался на боли. В некоторых северных и сибирских говорах «нытик» — это плакса и нытик, что прямо указывает на характер.

Модель образования типична для русских фамилий: суффикс -енк- указывает на принадлежность или происхождение (буквально «сын Нытеня»), а затем стандартное фамильное окончание -ов/-ев. Форма Нытенков могла означать «сын Нытеня» или «потомок Нытеня». Стоит отметить, что суффикс -енк- в фамилиях чаще встречается на западе и юге России, в частности в бывших смоленских и брянских землях, а также на Украине. В северных и центральных областях аналогичную функцию выполнял суффикс -ин (Нытин), а на востоке — -ов (Нытов). Географически фамилия Нытенкова встречается рассеянно, заметных гнёзд не образует, что говорит о её относительно позднем закреплении и невысокой распространённости.

Есть и альтернативная, менее вероятная версия: связь с диалектным словом «ныта» — так в некоторых местах называли крота или землеройку. Прозвище могли дать за сходство с этим зверьком — например, за привычку копаться в земле или невысокий рост. Однако эта гипотеза слабая, так как слово «ныта» локально и почти не фиксируется в письменных источниках. Основная версия — от глагола «ныть» — надёжнее и подтверждается устойчивым рядом однокоренных фамилий: Нытиков, Нытов, Нытин, Ныткин.

В социальном плане фамилия Нытенков, скорее всего, крестьянская. Прозвища с корнем «ныт-» не встречаются в среде дворянства или купечества — они были бытовыми, данными по внешнему признаку или поведению. Предок современного носителя фамилии мог быть известен в своей общине как Нытень — незлобивый, но вечно сетующий человек, или же как больной, «ноющий» старик. Фамилия сохранила эту живую, хоть и негероическую, черту характера.