Фамилия Казарновский — одна из тех, где исходное слово не сразу бросается в глаза, а за привычным суффиксом скрывается прозвище, уходящее корнями в древнерусскую историю. В основе фамилии лежит прозвище Казарин, и первая версия связывает его с хазарами — народом, который в древнерусских летописях называли «козаре». Хазары долгое время соседствовали с восточными славянами, и прозвище Казарин мог получить человек, имевший какое-то отношение к этому народу: либо по происхождению, либо по внешним чертам или роду занятий. Эта версия выглядит наиболее убедительной, учитывая, что в памятниках письменности XIV–XVI веков мы встречаем реальных людей с таким именем-прозвищем. Например, у С. Б. Веселовского упоминаются Казарин Давид Александрович Морхинин (середина XIV века), Казарин Голохвастов (начало XVI века) и Казарин Юрьевич Дубровский, дьяк, казнённый в опричнине в 1554–1569 годах. Эти записи показывают, что прозвище Казарин было распространено в среде служилых людей и не было редкостью.

Существует и другая версия, хотя она менее правдоподобна: прозвище могли образовать от мирского имени Казара, которое восходит к нарицательному «казара» — дикий гусь. В языческой традиции имя, данное по названию птицы, должно было сблизить ребёнка с природой и передать ему качества этого живого существа. Однако в случае с Казарновским хазарская версия подкреплена историческими документами, а «гусиная» остаётся лишь догадкой.

Сама фамилия Казарновский образована по типичной для восточнославянских фамилий модели: к основе Казар(ин) добавился суффикс -овск-, а затем окончание -ий. Суффикс -ский чаще всего указывал на принадлежность к местности или роду, но здесь он выполняет скорее адъективную функцию — «относящийся к Казарину». Такая форма характерна для фамилий, которые складывались в среде шляхты, духовенства или мещанства, особенно на западе и юге России, а также на Украине и в Белоруссии. Со временем прозвище Казарин, которое первоначально прилагалось к имени, полностью вытеснило его и закрепилось в документах как наследственное фамильное имя, преобразившись в Казарновского.