Фамилия Килим — редкий случай, когда в основе лежит не имя, не профессия, а бытовой предмет. Прямое значение слова «килим» — безворсовый ковёр ручной работы, распространённый у тюркских и кавказских народов. Однако связь с ремеслом неочевидна: прозвище Килим могли дать не только ткачу или торговцу коврами, но и человеку с грубоватой, «ковровой» внешностью или тяжёлым характером. В украинских говорах «килим» также означало толстое одеяло или попону — оттенок «нечто плотное, тяжёлое» мог перейти в прозвище.

Словообразовательная модель типична для русских фамилий, но с нюансом. Фамилия Килим — это неоформленная, «чистая» основа без суффиксов -ов, -ин или -ский. Такая форма характерна для украинской и белорусской традиции (сравните: Кобзарь, Паламар, Килим). В русской среде подобные фамилии чаще встречаются на юге и западе, где влияние украинского ономастикона было сильнее. Если бы фамилия образовалась в центральной России, она звучала бы как Килимов или Килимин.

Географически фамилия Килим тяготеет к украинскому Полесью и прилегающим областям Беларуси. Западная Украина, где слово «килим» бытует в быту, — ещё один вероятный ареал. Встречаемость фамилии низкая, что говорит о локальном характере прозвища: оно не было распространённым, а закрепилось за одной конкретной семьёй или родом.

Есть и менее очевидная версия: в некоторых говорах «килим» — искажённое «келим» от тюркского «кельмек» («приходить, прибывать»). Тогда прозвище могло достаться пришлому человеку, новосёлу. Но это лишь гипотеза: связь с ковром остаётся основной и самой прозрачной. Фамилия не указывает на знатное происхождение — скорее на ремесленный или крестьянский быт, где ковёр был заметной и ценной вещью.