Фамилия Килимник — прозрачный пример «профессионального» прозвища, которое указывало на ремесло предка. В её основе лежит слово «килим» — так называют шерстяной безворсовый двусторонний ковёр ручной работы. Узор такого ковра создаётся плотным полотняным застилом цветных утков, которые полностью скрывают нити основы. Килимы с геометрическим или цветочным орнаментом (реже — с сюжетными изображениями) традиционно ткут на Украине, в Молдавии, а также в Польше, Болгарии и некоторых других странах. Само слово «килим» пришло в славянские языки из тюркско-персидского круга.

Модель образования фамилии проста: к основе «килим» добавили суффикс «-ник», который в восточнославянских фамилиях часто указывает на человека по его занятию (ср. Мельник, Гончарник, Кожемяка). Таким образом, Килимник — это мастер, который ткёт или продаёт килимы. Фамилия закрепилась в тех регионах, где ковроткачество было развитым промыслом, — прежде всего на западе и в центре Украины. Встречаются и варианты написания, например Килимниченко, но форма с суффиксом «-ник» остаётся самой характерной.

В отличие от многих фамилий, образованных от названий ремёсел, Килимник сохранила прямую связь с конкретным, довольно узким видом производства. Это не «ткач» вообще, а именно специалист по безворсовым коврам. Такая детализация говорит о том, что прозвище могли дать не просто ремесленнику, а человеку, чей товар или мастерство выделялись на фоне других. В документах фамилия фиксируется с XIX века, преимущественно в Подольской и Киевской губерниях.