Фамилия Колдырцев — редкий случай, где корень почти наверняка указывает на конкретный недостаток внешности или характера. В основе лежит прозвище Колдырь, которое в русских говорах означало «шепелявый, косноязычный человек». Слово «колдырь» (или «колдырный») фиксируется в диалектах как синоним заикания или невнятной речи, а иногда и просто глуповатого, бестолкового человека. Таким образом, первый носитель фамилии, скорее всего, получил прозвище за манеру говорить или за поведение, которое считали странным.

Суффикс -ев указывает на стандартную патронимическую модель: Колдырцев — это «сын Колдыря». Форма с -ев, а не с -ов, появляется, если основа оканчивается на мягкий согласный или шипящий (в данном случае на -рь). В русской ономастике такие фамилии встречаются реже, чем «овские», и часто несут отпечаток северных или южнорусских говоров, где мягкость конечного согласного сохранялась дольше.

Географически фамилия тяготеет к центральным и южным регионам России. В дореволюционных переписях и современных справочниках Колдырцевы встречаются преимущественно в Курской, Воронежской, Тамбовской губерниях, а также на Дону. Это область, где диалектное слово «колдырь» было в ходу, и где прозвища, данные по физическим особенностям, часто переходили в фамилии без изменений.

Стоит отметить, что фамилия не имеет отношения к дворянским родам или известным историческим персонам. Она — типичный пример «простонародной» фамилии, возникшей в крестьянской или мещанской среде. Никакой связи с тюркскими или финно-угорскими корнями здесь нет, несмотря на необычное звучание: слово «колдырь» — исконно русское диалектное, родственное, возможно, глаголу «колдовать» (в смысле «бормотать, заговаривать»).