Фамилия Нитколаев — редкий случай, когда написание откровенно сбивает с толку. На слух она почти неотличима от распространённой фамилии Николаев, но первая буква «Нит-» вместо «Ник-» заставляет искать другое объяснение. Чаще всего это результат искажения — диалектного произношения или ошибки писаря, который записал фамилию на слух. В русских говорах, особенно северных и сибирских, сочетание «к» перед глухим согласным могло оглушаться или заменяться на «т»: Ник(о)лаев превращалось в Нитколаев. Так что первый и самый простой ответ: перед нами фонетический вариант фамилии Николаев, образованной от крестильного имени Николай (греч. «победитель народов»). Суффикс -ев указывает на принадлежность: «сын Николая».

Однако есть и вторая, более редкая версия, которую стоит рассмотреть. Если написание Нитколаев не случайность, а осознанная форма, её могли произвести от прозвища Ниткола. Такое прозвище могло сложиться из двух частей: «нитка» (в значении нить, верёвка) и уменьшительного суффикла -кола, или же быть переосмыслением имени Николай в народной этимологии. В этом случае предок мог заниматься прядением, ткачеством или торговлей нитками. Прозвища по ремеслу в русской среде давали часто, но форма Ниткола для XVI–XVII веков нехарактерна: обычно ремесленника называли просто Ниткин или Нитков.

Суффикс -ев в фамилии Нитколаев типичен для великорусской модели: он присоединялся к основам на мягкий согласный или на -й. В данном случае — к основе Нитколай (где конечный звук «й» дал «ев»). Географически фамилия встречается крайне редко, в основном в центральных областях России и в Поволжье, что подтверждает версию о случайном искажении. В документах XIX века единичные носители Нитколаевых фиксируются в мещанских и крестьянских сословиях, без связи с дворянством.

Таким образом, правдоподобнее всего считать фамилию Нитколаев диалектным или канцелярским вариантом фамилии Николаев. Если же ваши предки упорно писали именно Нитколаев, а не Николаев, возможно, в роду сохранялось особое произношение, которое закрепилось в документах.