Фамилия Никтина — редкий случай, когда написание не совпадает с очевидной этимологией. На слух она почти неотличима от распространённой фамилии Никитина, и именно её чаще всего подразумевают, когда видят слово «Никтина». Однако разница в одну букву меняет морфологию: основа здесь не «Никит-» (от имени Никита), а «Никт-».

Суффикс -ин указывает на принадлежность: Никтина — «дочь (или жена) Никты». А вот что такое «Никта» — вопрос. Самое вероятное объяснение: это краткая форма редкого крестильного имени Никита, но не та, что привычна (Никитка, Никиша), а усечённая — Никта. В русских говорах такое сокращение встречалось: от имени Никифор, например, образовывали форму Никша. То есть Никтин — это то же самое, что Никитин, но в локальном, диалектном варианте произношения и записи. Фамилия могла закрепиться в конкретной местности, где имя Никита произносили с отпадением первого слога или с редукцией гласных, и писарь записал её на слух.

Менее вероятная, но возможная версия — от прозвища Никта. В народной речи «никта» могло означать «никто», «ничтожный человек» (ср. с диалектным «никчемный»). Однако такая основа для фамилии встречается крайне редко, и вряд ли она легла в основу, если только не была ироничным прозвищем.

Географически фамилия Никтина встречается единично, в основном в центральной России и Поволжье. В документах её часто «исправляют» на Никитина, что затрудняет поиск предков. Если вы носитель этой фамилии, стоит учитывать, что ваши предки с высокой вероятностью носили имя Никита, но в местном говоре оно звучало иначе, чем в литературном языке.