Фамилия Нестных относится к редкому и яркому типу русских фамилий — на -их/-ых. Такая модель указывает на собирательное обозначение семьи или рода: Нестных — это «из семьи Неста». В древнерусской традиции так отвечали на вопрос «чьи вы будете?»: «Мы Нестных». Подобный способ образования фамилий особенно характерен для северных и чернозёмных областей России, а также для Сибири, куда переселенцы принесли этот обычай.

Основа фамилии — прозвище Нест или Неста. Самое прямое объяснение лежит на поверхности: «нест» — это «гнездо» в диалектном или старом произношении (ср. украинское «гніздо», польское «gniazdo», а также древнерусское «гнѣздо» с утратой начального «г» в некоторых говорах). Прозвище Нест могли дать человеку домовитому, оседлому, «свившему гнездо», либо тому, кто происходил из большого рода — «из одного гнезда». В русских говорах слово «нест» фиксируется именно в значении «гнездо», хотя и редко.

Менее вероятная, но возможная версия — связь с календарным именем Нестор. В народном произношении имя Нестор нередко усекали до Нест, а затем к основе добавился суффикс принадлежности. Однако в таком случае ожидалась бы фамилия Нестов или Нестерин, а форма на -их указывает на прозвищное, а не на крестильное происхождение. Поэтому версия с «гнездом» выглядит предпочтительнее.

Фамилия Нестных — очень редкая. Она практически не встречается в центральных областях и в списках московского дворянства. Основной ареал — северные регионы (Архангельская, Вологодская области) и, возможно, старообрядческие поселения на Урале и в Сибири. В документах XVII–XVIII веков эта фамилия почти не зафиксирована, что говорит о её позднем закреплении или о малочисленности рода.

Словообразовательно фамилия стоит в одном ряду с такими фамилиями, как Несторов, Нестеров, Гнездилов (от того же корня «гнездо»), а также с фамилиями на -их: Босых, Глухих, Седых. Но если Седых и Босых образованы от прилагательных, то Нестных — от существительного, что встречается реже. Это делает фамилию необычной даже на фоне других «северных» фамилий.

Носителю фамилии Нестных стоит знать: её корень уходит не в церковный календарь, а в народную речь и бытовую наблюдательность. Предки, скорее всего, были крестьянами или посадскими людьми Русского Севера, и прозвище им дали за домовитость, привязанность к дому или за принадлежность к большой «гнездовой» семье.