Фамилия Нестайко звучит на украинский лад и почти наверняка имеет украинское происхождение. В этом убеждает суффикс -ко, который в украинской ономастике выполняет ту же роль, что русские -ов/-ев: он превращал прозвище или имя в фамилию, часто с оттенком принадлежности («чей?» — Нестайко, то есть сын или потомок Нестая).

Основа фамилии — «нестай». Это древнее славянское прозвище, построенное по модели отрицания: «не» + глагол «стати» (стать, остановиться, устоять). Получается характеристика человека — «нестойкий», «непостоянный», «неусидчивый». Вряд ли это была похвала: в крестьянском быту, где ценились основательность и трудолюбие, так могли назвать суетливого, ветреного или ненадёжного человека. Впрочем, прозвища редко давали за положительные качества — они цеплялись к заметной черте, даже не самой лестной.

Интересно, что фамилия могла возникнуть не только из прямого прозвища, но и из охранительного имени. В древности существовала традиция давать детям «отрицательные» имена (Некрас, Немил, Нечай), чтобы обмануть злых духов: мол, ребёнок «нестоящий», и нечисть не позарится. Со временем такие имена превратились в фамилии. Версия с Нестаем как личным именем тоже имеет право на существование, хотя прозвищный путь всё же выглядит более прямым.

Географически фамилия тяготеет к Центральной и Восточной Украине, особенно к Полтавщине и Черкащине — зоне активного бытования фамилий на -ко. В России она встречается редко и почти всегда — след переселения украинцев в XVIII–XIX веках. В дореволюционных переписях носители Нестайко чаще всего числились казаками или государственными крестьянами.

Итак, предок носителя этой фамилии, скорее всего, жил на украинских землях и получил прозвище Нестай за живой, непоседливый нрав. В отличие от более известных фамилий с тем же корнем (Нестеров, Нестеренко), Нестайко сохранило редкую словообразовательную модель с отрицательной частицей — и в этом его лингвистическая ценность.