Фамилия Безобразов происходит от мирского имени Безобраз (или прозвища Безобразный). Это так называемое «охранительное» имя: надеясь, что сын вырастет красивым и здоровым, родители нарекали его Безобразным — то есть «без образа», некрасивым. Считалось, что такое имя отпугнет злых духов и обеспечит ребенку противоположные качества. В народе подобные имена были распространены: чем непригляднее имя, тем спокойнее, по поверьям, жилось его носителю.

Словообразовательная модель проста: суффикс -ов указывает на принадлежность («чей?» — Безобразов). Фамилия закрепилась за потомками человека по имени Безобраз.

По семейному преданию, родоначальником Безобразовых считается некий Христофор по прозвищу Безобраз. Он принял православие с именем Михаил и прибыл в Москву из прусских земель ко двору великого князя Василия I, сына Дмитрия Донского. От его сына, тоже Христофора Безобраза, пошли основные ветви рода. Это одна из древнейших дворянских фамилий: Безобразовых внесли в шестую часть дворянских родословных книг Московской, Санкт-Петербургской, Пензенской и Тульской губерний. Шестая часть — это столбовое дворянство, то есть род, доказавший свое благородное происхождение до 1685 года.

Таким образом, у фамилии два слоя: народный (обережное имя, защищавшее от сглаза) и аристократический (древний дворянский род, ведущий историю с XV века). Стоит заметить, что в русских говорах слово «безобразный» не всегда означало «уродливый» — в некоторых диалектах «образом» называли икону, и «безобразный» могло пониматься как «не имеющий иконы», но к данной фамилии эта версия малоприменима.