Фамилия Никалаевна — редкий случай, когда отчество закрепилось в качестве фамильной формы. В русской традиции фамилии на -овна/-евна обычно образовывались от женских отчеств, но в крестьянской и мещанской среде XIX века так могли записать внебрачного ребёнка или человека, которого знали исключительно по матери. В основе лежит крестильное имя Николай (от греческого «никао» — побеждать и «лаос» — народ), но в народном произношении оно часто звучало как Миколай или Никалай. Фамилия фиксирует именно просторечную форму с ударением на второй слог — Никала́й.

Словообразовательная модель нестандартна: суффикс -евн- (с беглым гласным) в сочетании с окончанием -а — типичный способ превратить отчество в фамилию для женщин, но здесь он работает как родовое имя для целой семьи. В официальных документах такие фамилии встречались преимущественно на юге России и в Беларуси, где отчества на -овна/-евна использовались шире, чем в северных губерниях. Иногда встречается написание через «о» — Николаевна, но вариант с «а» выдает именно устное, диалектное произношение.

В словаре Б. Унбегауна «Русские фамилии» подобные образования отмечены как редкие: в основном они возникали, когда ребёнка записывали по матери-одиночке, и фамилия закреплялась за потомками. Социальный контекст — почти всегда крестьянство или однодворцы, реже городские низы. Дворянские роды так не именовались: у них отчество было частью полного имени, а не фамилией.

Сравните с однокоренными фамилиями: Никалаев, Никалайчук, Миколаенко — все они восходят к тому же имени, но Никалаевна выделяется грамматическим родом. Если ваш предок носил такую фамилию, вероятно, он происходил из семьи, где в середине XIX века женщина (вдова или незамужняя) юридически считалась главой рода, и её отчество перешло к детям как фамильное прозвище.