Фамилия Келпш — редкая и неочевидная с точки зрения происхождения. Её анализ требует обращения сразу к нескольким языковым традициям, что указывает на сложную историю носителей. Скорее всего, фамилия сформировалась на стыке польского, латышского и, возможно, германского влияния, в период активных контактов между этими народами в составе Речи Посполитой.

Основная версия связывает фамилию с польским прозвищем Kiełb — «рыба-пескарь». При переходе в прибалтийскую среду это слово могло адаптироваться: к основе добавили типичное для латышского или литовского языка окончание существительных -ш, превратив Kiełb в Келпш. Таким образом, прозвище, а затем и фамилия, могло указывать на род занятий (рыбак) или на внешнее сходство с небольшой юркой рыбой — по поведению или особенностям фигуры.

Менее распространённая, но имеющая право на существование версия выводит фамилию из германской основы kalp — «телёнок». В этом случае прозвище могло относиться к скотоводу или человеку, ухаживавшему за молодняком. Обе гипотезы не противоречат друг другу: они лишь показывают, что в основе лежит прозвище по занятию или внешности, а не по имени.

Фамилия Келпш не склоняется по падежам в мужском роде и имеет женские формы, характерные для прибалтийских языков: у незамужних девушек — Келпшайте, у замужних женщин — Келпшене. Эта особенность окончательно закрепляет «балтийский след» в её оформлении.

Известные носители фамилии подтверждают её польско-литовские корни. В Книге памяти Омской области упоминается Стефан Зенонович Келпш, польский рассыльный малярийной станции, родившийся в 1874 году в местечке Радзивилишки Ковенской губернии. Наиболее знаменит советский военный инженер и учёный, генерал-майор Валентин Валентинович Келпш (1937–2000), удостоенный звания Героя Социалистического Труда. Его пример показывает, насколько далеко от первоначального ареала (польско-балтийское пограничье) может распространиться такая локальная фамилия.