По одной из версий, фамилия Кивильша образована от аналогичного прозвища, которое восходит к топониму Кивиыли (Kiviõli): так называется город в северо-восточной части Эстонии в уезде Ида-Вирумаа. Согласно другой гипотезе, в основе фамилии Кивильша лежит имя, образованное от латышского слова ķivulis - «чиж, чижик». Так, в документах начала XX века упоминается польский слесарь Кивильша Болеслав Болеславович, который родился в 1911 году в городе Вильнюс.