Фамилия Несмий — редкий случай, когда основа, скорее всего, не славянская, а имя собственное. При поверхностном взгляде напрашивается связь с глаголом «нести» или прилагательным «несмелый» (робкий), но словообразовательная модель этому противоречит.

В русских фамилиях суффикс -ий (-ый) в чистом виде, без предшествующего -ск- (как в Орловский), почти не встречается у коренных великорусских фамилий. Он характерен для фамилий украинского, польского или белорусского происхождения, особенно тех, что образованы от прилагательных. Но «Несмий» не похоже на осмысленное прилагательное («несмий» ничего не значит), поэтому версия с прозвищем от «несмелый» отпадает: форма была бы Несмелов или Несмелый.

Правдоподобнее всего, что в основе лежит крестильное имя. В святцах есть редкое имя Нестор (греч. «вернувшийся домой»). В просторечии его могли редуцировать до Нестер, а в южнорусских и украинских говорах, где распространена мена «т» на «с» и редукция окончаний, Нестер мог превратиться в Несмий. Суффикс -ий тогда указывает на патроним: Несмий — это «сын Несмия», то есть Нестора. Фамилия закрепилась в форме, которая звучит как имя в родительном или звательном падеже, что типично для старых украинских фамилий (типа Палий, Милий).

Если это не так, то корень может быть заимствованным. Встречается польская фамилия Nieśmiy, которая восходит к глаголu nieść (нести) с диалектным чередованием. В этом случае Несмий — потомок человека, которого прозвали за то, что он постоянно что-то носил, либо по роду занятий (носильщик, водонос). Но это менее вероятно, так как польский вариант обычно имеет другое ударение и написание.

Географически фамилия привязана к западным регионам бывшей Речи Посполитой: Беларусь, западная Украина, восток Польши. В России она единична и почти всегда указывает на миграцию предков оттуда. Сословно носители могли быть как крестьянами, так и мещанами — фамилия не несёт признаков дворянской (нет форманта -ский/-цкий) или семинарской (нет латинской основы).

Итог: перед вами не русская, а западнорусская фамилия, образованная либо от просторечной формы имени Нестор, либо от польского прозвища, связанного с ношей. Первая версия надёжнее, так как объясняет нестандартное окончание.