Фамилия Шварцман ведет свое начало от немецкого слова schwarz, которое переводится на русский язык как «черный». Компонент «ман» восходит к немецкому Mann – «человек». Вполне возможно, что фамилия отражала особенности внешности человека (черные глаза, черные волосы, смуглая кожа). Однако не исключено, что такая фамилия могла быть связана и с родом деятельности основателя рода (например, трубочист). Например, только у евреев можно было встретить такие фамилии, как Вейценбаум, что в переводе с немецкого означало «пшеничное дерево», Зауэрштром – «кислый поток», Левенфиш – «рыба-лев», Цигенбаум – «козье дерево», Квечман – «высказываться неохотно».