Фамилия Кипшидзе — одна из тех, что сразу выдают грузинское происхождение носителя, причём указывают на вполне конкретный регион. Её основа — слово «кипши» (ქიფში), которое в грузинском языке означает «долгий сон» или «спячка». Скорее всего, прозвище Кипши дали человеку с флегматичным характером, любителю поспать или тому, кто отличался медлительностью. Вторая, менее вероятная версия, связывает основу с тюркским «кипчак» (половец), но для фамилии, закрепившейся в Западной Грузии, объяснение через грузинскую лексику выглядит убедительнее.

Типичный грузинский суффикс -дзе (ძე) означает «сын» и характерен для восточных регионов страны, особенно для Имеретии и Гурии. Вместе с основой фамилия буквально читается как «сын Сони» или «сын Сонного». Такая модель образования (прозвище + -дзе) в Грузии одна из самых распространённых, она фиксирует личную особенность родоначальника, а не его ремесло или место жительства. Встречается и усечённый вариант — Кипшидзе, хотя полная форма с суффиксом — норма.

В XIX веке фамилия была записана в дворянских списках Кутаисской губернии, что подтверждает её принадлежность к местному имеретинскому дворянству. Сословный статус не был редкостью для носителей фамилий на -дзе: многие из них входили в число «азнаури» (дворян) или «мтаваров» (князей). Однако это не означает, что все Кипшидзе были знатного происхождения — часть ветвей могла быть и крестьянскими, просто фамилия осталась единой для всех потомков одного предка.

Сегодня фамилия распространена не только в Грузии, но и в России, где её носители — потомки эмигрантов советского и постсоветского периодов. Ударение в русском языке обычно ставится на второй слог: КипшИдзе, хотя в грузинском оригинале оно может падать на первый.