Фамилия Казельская чаще всего указывает на географическое происхождение. Её основа — название древнего города Козельск в Калужской области, стоящего на реке Жиздре. Первое упоминание о Козельске в летописях относится к 1146 году, а в 1238 году этот небольшой город семь недель держал оборону против войска Батыя, что сделало его имя исторически весомым. Чередование гласных О и А (Козельск — Казельская) — обычное явление для русских фамилий, возникшее из-за особенностей произношения и письменной фиксации в разных диалектах. Таким образом, первый носитель фамилии был, скорее всего, выходцем из Козельска, и фамилия отвечала на вопрос «откуда?».

Существует и альтернативная, но менее распространённая версия. Она связывает фамилию не с топонимом, а с прозвищем Казель. В донских говорах словом «казейка» называли лодыжку или щиколотку — две костяные шишки внизу берцовых костей. Прозвище Казель мог получить человек, у которого эти кости сильно выделялись. Другое объяснение того же прозвища — от старинного глагола «казать» в значении «бить, толкать, тыкать». Тогда Казелем называли либо ремесленника, работа которого требовала тычковых движений, либо драчуна и забияку. В таком случае фамилия пошла бы от личного прозвища предка. Однако географическая версия выглядит предпочтительнее: фамилии на -ский/-ская в массе своей образовывались именно от названий местностей, а не от прозвищ.