Фамилия Анкудимов происходит от имени Анкудим, которое является народной формой церковного имени Акиндин. В переводе с древнегреческого Акиндин означает «безопасный». Святой мученик Акиндин пострадал за веру на рубеже III–IV веков при императоре Диоклетиане — в святцах его поминают 18 апреля. В церковной традиции его имя стоит в одном ряду с Виктором, Зотиком, Зиноном, Северианом и Кесарием. Имя Анкудим появилось в результате бытовой переделки: «аканье» и замена звуков в просторечии превратили «Акиндина» в «Анкудима». Именно от этой формы и образована фамилия с типичным русским суффиксом -ов, указывающим на принадлежность: Анкудимов — «сын Анкудима».

Есть и другая, менее распространённая версия: прозвище Анкудим могли дать человеку, связанному с ювелирным делом. Слово «акунт» в церковнославянском языке означало яхонт — так раньше называли драгоценные корунды (рубин и сапфир). Если предок занимался добычей или обработкой таких камней, Анкудим могло стать его прозвищем, а затем перейти в фамилию. Однако эта гипотеза слабее: она не опирается на прямые исторические источники, а имя Анкудим устойчиво фиксируется в документах именно как вариант крестильного имени, а не прозвища по профессии.

В русской литературе имя Анкудин встречается у Александра Куприна в рассказе «Святая ложь» — так звали сторожа. У Виктора Астафьева в повести «Весёлый солдат» действует боец Анкудин Анкудинов, что подтверждает: фамилия бытовала и в XX веке, сохраняя архаичную форму. Фамилия Анкудимов нередка в северных и центральных регионах России, особенно в Архангельской, Вологодской и Костромской областях — там народные варианты церковных имён держались дольше.