Фамилия Калдузова образована от прозвища Калдуз. В его основе лежит слово «калда» или «калдус» — в южнорусских говорах так называли скотный двор, загон для скота, летнее стойло. Именование, скорее всего, было профессиональным: Калдузом называли работника, который ухаживал за скотиной, конюха или пастуха. Прозвище закрепилось за человеком как основное обиходное имя, а затем перешло в фамилию по стандартной модели на -ов: Калдузов — «сын Калдуза».

Фамилия встречается в памятных книгах. Например, в Книге памяти Самарской области записан Андрей Едорович Каздузов (1900 года рождения, поселок Передовский Александрово-Гайского района Саратовской области). Вариант написания через «а» — Каздузов — не редкость для фамилий, образованных от слов с безударной гласной: на слух «калда» и «казда» звучат почти одинаково, особенно в устной речи переписчиков.

По типу образования фамилия Калдузова — типичная «профессиональная» русская фамилия, но с необычной основой. Слово «калда» (и его производное «калдус») почти вышло из употребления и сохранилось в основном в диалектах Поволжья и юга России. Поэтому фамилия Калдузов — не просто родовое имя, а ещё и живой след крестьянского быта, где человека определяли по его делу, а не по имени отца.