Фамилия Целминьш — латышская, и её разбор стоит начать не с корня, а с суффикса. Окончание -иныи (в русской передаче -иньш) — типичный патронимический суффикс в латышской ономастике, указывающий на происхождение от отца или предка. Он соответствует русскому -ов/-ев или -ин. То есть Целминьш буквально значит «сын Целма» или «потомок Целма».

Основа фамилии — латышское слово celms (пень, комель, ствол, корневище). В говорах и старых текстах celms могло означать не просто пень, а нечто прочное, коренастое, укоренённое. Прозвище Целмс, от которого пошла фамилия, могли дать человеку крепкого телосложения, низкорослому и плотному, либо тому, кто жил на выкорчеванном участке — на пне, на месте срубленного леса. В латышской топонимике Celms встречается как название хутора или поля, так что возможна и географическая привязка: предок мог получить прозвище по месту жительства.

В отличие от многих славянских фамилий, у Целминьш нет суффикса сословной принадлежности. Латышские фамилии в массе своей оформились поздно — в XIX веке, после отмены крепостного права, когда крестьянам массово присваивали фамилии по прозвищам, ремёслам или природным объектам. Поэтому носитель фамилии Целминьш с высокой вероятностью происходил из крестьянской среды, а не из дворян или горожан.

В русском языке фамилию часто коверкают: пишут «Целминьш» или «Цельминьш», хотя правильная латышская форма — Celmiņš (с долгим i и мягким ņ). Ударение в латышском падает на первый слог: ЦЕ́лминьш. В русском бытовом произношении нередко смещают ударение на последний слог, что меняет звучание, но не смысл.

Фамилия редкая даже в Латвии. Встречается преимущественно в исторических регионах Видземе и Земгале. Других версий происхождения, кроме как от celms, у ономастов нет — корень прозрачный, и альтернативные гипотезы (например, от немецкого Zellmann) считаются натяжкой, так как словообразование и суффикс однозначно указывают на латышскую основу.