Фамилия Анкудимовы образована от имени собственного и относится к распространённому типу русских фамилий. Основой послужило имя Анкудим — народная форма церковного имени Акиндин. В переводе с древнегреческого оно означает «безопасный». Святой мученик Акиндин пострадал за веру на рубеже III–IV веков при императоре Диоклетиане; его поминают 18 апреля.

Модель образования фамилии проста: к основе Анкудимов- добавили типичный русский фамильный суффикс -ов, указывающий на принадлежность («чей?» — Анкудимов). Такая схема характерна для большинства русских фамилий, образованных от полных крестильных имён.

Есть и вторая, менее распространённая версия происхождения. Она связывает прозвище Анкудим со словом «акунт» — так в церковнославянском языке называли яхонт. Яхонтом в старину именовали красный рубин и синий сапфир (корунды). Соответственно, Анкудимом могли прозвать человека, связанного с добычей драгоценных камней или ювелирным делом. Эта гипотеза менее надёжна: прямое заимствование из церковнославянского в бытовое прозвище маловероятно, к тому же имя Анкудим как вариант Акиндина встречается в источниках гораздо чаще.

В художественной литературе имя Анкудин встречается у Александра Куприна («Святая ложь») — так звали сторожа. В повести Виктора Астафьева «Весёлый солдат» фигурирует боец Анкудин Анкудинов. Двойное написание — Анкудимов и Анкудинов — связано с разными диалектными формами имени: в одних говорах закрепилось окончание -им, в других -ин, что и дало два варианта фамилии. Оба варианта встречаются в документах XVIII–XIX веков, особенно в северных и центральных губерниях России.

О точном месте и времени возникновения фамилии Анкудимовы говорить сложно — процесс формирования фамилий был длительным. Однако ясно, что корни её уходят в крестильное имя, популярное в православной среде, а вторая, «ювелирная», версия остаётся лишь любопытным, но маловероятным предположением.