Скорее всего, фамилия Кипстс образована от прозвища Кипст, которое восходит к топониму Кипшты. Вероятно, Кипстом прозвали выходца из местечка Кипшты, которое находится недалеко от литовского города Шауляй. Согласно другой гипотезе, в основе фамилии Кипстс лежит «охранное» имя Кипст, образованное от литовского слова kipšas – «черт, бес» и kypti – «чахнуть, хиреть». Такое имя могли дать ребенку в надежде уберечь его от нечистой силы и болезней. Сведения о представителях родственной фамилии Кипст содержатся в различных архивных документах. Так, в Книге памяти Калужской области записана Кипст Лидия Христофоровна, которая родилась в 1910 году в Риге.