Фамилия Крембергс образована от прозвища Кремберг, которое состоит из двух слов: Krem и Berg. Первое из них в переводе с немецкого языка означает «крем, сливки, мазь», а второе «гора, груда, куча». Исходя из этого, можно предположить, что родоначальник Крембергс был крупным производителем либо косметического средства, либо кондитерского изделия. По другой, менее правдоподобной, версии, в основе первого компонента прозвища Кремберг лежит немецкое слово Krām, которое на русский язык переводится как «лавка, мелочный товар». В этом случае такое прозвище мог получить торговец.