Фамилия Нелюдимов — одна из тех, что прямо говорит о характере или поведении предка. В основе лежит древнерусское прозвище Нелюдим, которое давали человеку необщительному, замкнутому, избегающему общества. В крестьянской среде, где жизнь строилась на общине и взаимопомощи, такой человек выделялся сразу, и прозвище закреплялось за ним или его детьми.

Словообразовательная модель проста: к основе «нелюдим» добавился типичный русский суффикс -ов, указывающий на принадлежность («чей?» — сын Нелюдима). Это одна из самых распространённых моделей в русских фамилиях, характерная для центральных и северных регионов. Менее вероятна, но возможна связь с топонимом — например, с названием деревни Нелюдимово, которая действительно встречается в старых писцовых книгах. В таком случае фамилия могла указывать не на личное качество, а на выходца из этого места.

Интересно, что фамилия Нелюдимов почти не имеет однокоренных «двойников» вроде Нелюдин или Нелюдский. Это говорит о том, что прозвище Нелюдим было менее распространено, чем, скажем, Молчун или Угрюм — возможно, потому что несло более резкую, осуждающую окраску. В словаре Б. Унбегауна «Русские фамилии» подобные образования разбираются в разделе фамилий от характеризующих прозвищ, и Нелюдимов вписывается в ряд с Несмеянов, Недотрогин, Неустроев.

Встречается фамилия в основном в центральных областях России, особенно в бывших Владимирской и Костромской губерниях. Среди носителей не было известных дворянских родов — это фамилия преимущественно крестьянского и мещанского происхождения, что подтверждается отсутствием в «Общем гербовнике». Так что если ваш предок носил фамилию Нелюдимов, скорее всего, он был человеком основательным, но нелюдимым — и это качество запомнили соседи настолько, что оно перешло в фамилию.