Фамилия Сарматов звучит необычно для русского уха, и это неслучайно. В её основе лежит этноним — название древнего кочевого народа сарматов, жившего в степях Причерноморья и Поволжья в первые века до нашей эры. Однако прямой связи с этим народом у носителей фамилии, скорее всего, нет. Чаще всего фамилию давали в духовных училищах и семинариях — так называемые «семинарские» фамилии, которые придумывали для красоты и благозвучия, нередко отталкиваясь от античных или библейских названий. В XIX веке будущему священнику могли дать фамилию Сарматов, чтобы подчеркнуть учёность или просто выделить его среди однофамильцев.

Суффикс -ов указывает на типичную русскую патронимическую модель, то есть фамилия отвечает на вопрос «чей?» — буквально «сын Сармата». Но имя Сармат в дохристианской Руси не встречалось, поэтому здесь работает не прямое наследование от отца, а искусственное образование от прозвища или книжного слова. Семинаристы нередко получали фамилии по названиям народов: Грек, Татаринов, Персиянинов, — и Сарматов стоит в этом же ряду.

Есть и вторая, менее вероятная версия: в некоторых говорах «сармат» могло означать «неряха» или «неопрятный человек» — от тюркского «сарма» (путать, мешать). Но эта гипотеза слабая, так как слово не закрепилось в русской диалектной лексике, и большинство ономастов склоняются к книжному происхождению фамилии.

Географически фамилия Сарматов встречается редко, в основном в центральных и южных областях России, что косвенно подтверждает её искусственное происхождение: такие фамилии не формировались в крестьянской среде, а распространялись через церковные школы. В отличие от массовых фамилий вроде Иванов или Кузнецов, Сарматовых мало, и это делает фамилию яркой приметой рода, чей предок, скорее всего, имел отношение к духовенству или получил прозвище за учёность.