Фамилия Анкерштейн — сложное слово, сращение двух корней без соединительной гласной, что типично для немецких композитов. Вторая часть, «-штейн» (нем. Stein — «камень»), в немецкой ономастике часто указывала на происхождение из каменистой местности или на владельца каменного дома или замка. Первая часть, «Анкер», может восходить к нескольким источникам.

Самая прямая версия — от немецкого Anker («якорь»). Фамилия могла быть прозвищем моряка, судовладельца или мастера, ковавшего якоря. В средневековых ремесленных городах Германии такое прозвище закреплялось за человеком, чья работа или характер ассоциировались с символом надёжности и прочности. Вторая версия — топонимическая: «Анкер» могло быть названием населённого пункта (например, Анкер в Тюрингии). Тогда Анкерштейн — «камень из Анкера» или «человек из Анкера, живущий у каменного строения».

В русском языке фамилия не получила суффикса -ов/-ев, так как её основа была заимствована в неизменном виде. Это указывает на то, что носители фамилии — выходцы из немецкоязычных земель (возможно, из прибалтийских губерний, где такие фамилии встречались у остзейских немцев) или евреи-ашкеназы, которые в XVIII–XIX веках часто получали фамилии по модели «профессия/место + -штейн». Сословно фамилия могла принадлежать как ремесленникам (кузнецам, корабельщикам), так и горожанам среднего достатка. В дворянских гербовниках Российской империи она не зафиксирована, что делает аристократическое происхождение маловероятным. Географически Анкерштейны чаще встречаются в Центральной и Восточной Европе, а в России — в регионах, где селились немецкие колонисты (Поволжье, Новороссия) или еврейские общины (черта оседлости).

Редкая деталь: в некоторых вариантах написания фамилия фиксировалась как «Анкерштэйн» (с буквой «э» после «ш»), что отражает немецкое произношение Stein как «штайн». В русском языке устоялся вариант с «е», но в старых метрических книгах встречаются обе формы. Это говорит о том, что фамилию принесли в Россию не позже середины XIX века, когда правила транслитерации ещё не устоялись.