Фамилия Каулиня звучит непривычно для русского уха, и это прямой намёк на её происхождение. Сразу заметно окончание -иня, которое нехарактерно для исконно русских фамилий. В русском языке суффикс -ин образует фамилии от основ на -а/-я (Пушкин, Ильин), а вот -иня — это уже латышская модель. В латышском языке фамилии с таким окончанием — женского рода, а мужской вариант звучал бы как Каулиньш. Так что перед нами, скорее всего, латышская фамилия, которая попала в русский контекст и закрепилась в женской форме.

Основа фамилии — «каулс» (латыш. kauls), что переводится как «кость». Прозвище Каулис могли дать человеку с заметной худобой, костистостью, или же тому, кто занимался обработкой кости — косторезу. Второе объяснение не менее правдоподобно: в латышской среде ремесленные прозвища часто становились фамилиями. Таким образом, предок носителя фамилии Каулиня мог быть либо очень худым, либо мастером по изготовлению гребней, пуговиц и других изделий из кости.

Географически фамилия тяготеет к Латвии, особенно к восточным регионам — Латгалии и Земгалии, где латышские фамилии на -иня и -итис особенно распространены. В России такая фамилия встречается редко, чаще всего у потомков латышей, переселившихся в XIX — начале XX века, или у людей, чьи предки были выходцами из Прибалтики.

С точки зрения словообразовательной модели, фамилия прозрачна: основа Kaul- + суффикс -iņš/-iņa, который в латышском языке выполняет уменьшительную или принадлежностную функцию. В отличие от русских фамилий, где суффикс указывает на отчество («чей сын»), здесь он скорее фиксирует прозвище как таковое. Споров о происхождении практически нет: латышский корень и типичное для этой языковой группы окончание не оставляют сомнений. Если искать параллели в русском языке, можно вспомнить фамилию Костин, но с той разницей, что Каулиня — не патроним, а прямое прозвище.