Фамилия Каулинс — почти всегда «русифицированный» вариант латышской фамилии Каулиньш. В начале XX века, когда многие латыши оказывались в русскоязычной среде (переезжали в города, служили в армии, оформляли документы), их фамилии адаптировали под русскую грамматику. Типичный латышский суффикс -iņš, указывающий на уменьшительность или принадлежность, заменяли более привычным для русского уха -ин или -инс. Так Каулиньш превращался в Каулина, а затем и в Каулинс.

Основа фамилии — латышское слово kauliņš, то есть «косточка». Прозвище Каулиньш могли дать очень худому, костистому человеку. В крестьянской среде такие прозвища по внешности были обычным делом и закреплялись за семьёй. Другая версия, что фамилия могла произойти от русского прозвища Каула (диалектное «каурый» — светло-рыжий, или от тюркского «кау» — скала, утёс), но это менее вероятно: документы начала XX века показывают, что основная масса носителей сосредоточена именно в Латвии, а не в русских губерниях.

Встречается и написание Каулинш — это промежуточный этап, когда латышский суффикс ещё не вытеснили окончательно. Современная форма Каулинс закрепилась в паспортах и метриках как компромисс: корень остался латышским, а окончание подстроили под русский строй речи.