По одной из версий, его получил житель местечка Калл (к югу от Дюрена) или Калле (Нижняя Саксония). Согласно другой гипотезе, в основе этой фамилии лежит нижненемецкое слово kallen - «кричать», «громко говорить». Следовательно, Каллером могли прозвать любителя пустых разговоров, либо человека с громким голосом.