Фамилия Коллер образована от аналогичного прозвища, которое, в свою очередь, восходит к средневерхненемецкому слову kolli(e), то есть «упряжь», «броня». Вполне вероятно, что это прозвище относится к так называемым «профессиональным» именованиям, содержащим указание на род деятельности человека: возможно, предок современного носителя фамилии занимался изготовлением упряжи. Согласно другой гипотезе, Коллер является вариантом прозвища Колер (Kohler). Оно, в свою очередь, этимологически связано с немецким словом kohl, то есть «капуста». Исходя из этого, можно предположить, что основатель рода Коллер был торговцем овощами.