Фамилия Нестройный — редкий случай, когда отрицание «не-» слилось с корнем ещё на стадии прозвища, а не добавилось позже по прихоти писаря. В русских фамилиях приставка «не-» обычно указывает на противоположное качество: Некрасов — некрасивый, Неверов — неверующий или неверный. Нестройный — тот, кого прозвали нестройным, то есть нескладным, неловким, возможно, сутулым или просто негармонично сложенным человеком. Прилагательное «стройный» в древнерусском языке означало не только «худощавый и статный», но и «ладный, соразмерный, правильный» — и в прямом смысле, и в переносном. Так что прозвище Нестройный мог получить не только внешне неуклюжий, но и человек вздорного, неуравновешенного нрава.

По модели образования фамилия — типичное субстантивированное прилагательное в форме мужского рода. В русской ономастике такие фамилии (Толстой, Благой, Кривой) нередко закреплялись за крестьянами и однодворцами, особенно на юге России и в украинских землях, где полные прилагательные в роли фамилий встречаются чаще, чем на севере. Суффикса -ов или -ин здесь нет: фамилия застыла в чистом виде, что говорит о её относительно позднем оформлении — скорее всего, в XVIII–XIX веках, когда приказные фиксировали прозвище «как есть», без переделки в притяжательную форму.

Интересно, что фамилия Нестройный не имеет ничего общего с музыкой или военным строем. В отличие от фамилии Стройнов (от «стройный» через суффикс -ов), здесь отрицание меняет смысл кардинально: это не «сын нестройного», а сам носитель прозвища. В документах XIX века фамилия встречается спорадически в Курской, Воронежской и Харьковской губерниях — как раз в зоне расселения однодворцев, которые часто носили «говорящие» фамилии-характеристики. Встречается и вариант написания Нестройной — с окончанием -ой, характерным для южнорусских говоров, но в современном употреблении закрепилась форма на -ый.

Поскольку фамилия редкая, её носители, скорее всего, происходят из одного или нескольких близких родов. Проследить точную генеалогию без архивных разысканий сложно, но можно уверенно сказать: предок Нестройных получил своё прозвище не по профессии и не по отцу, а по внешней или внутренней примете, которая показалась окружающим достаточно яркой, чтобы закрепиться на века.