Фамилия Чаловский — одна из тех, что сразу выдают географическое происхождение. Её основа — не профессия и не личное имя, а топоним, то есть название места. Суффикс -ский, характерный для польской, украинской и западнорусской традиции, указывает на связь с конкретным населённым пунктом. Носитель фамилии — выходец из села или местечка с названием Чалово, Чаловка или Чалова. Такие топонимы встречаются на территории исторической Беларуси, в Смоленской и Псковской областях, реже — на Украине.

Корень «чал» в славянской топонимике чаще всего восходит к тюркскому «чал» — «серый, седой, старый». Так могли назвать речку с мутной водой, холм с выгоревшей травой или старую, давно обжитую деревню. В русских говорах слово «чалый» означало масть лошади (серый с примесью другой шерсти), а «чал» — бакен, шест для причаливания лодки. Поэтому нельзя исключать, что основой могло стать прозвище Чал — так называли человека с сединой в волосах или, по аналогии, упрямого, «серого» характером. Но в случае с фамилией на -ский прозвищная версия слабее: такие фамилии почти всегда образуются от названия владения или места жительства.

Модель «Чаловский» — типичная для шляхетских и дворянских фамилий Речи Посполитой. В XVII–XVIII веках её могли получить мелкие землевладельцы или служилые люди, чьи поместья стояли на реке Чале или в урочище Чал. В крестьянской среде фамилии на -ский встречались реже, но после отмены крепостного права в XIX веке их давали по названию деревни, где жила семья. Таким образом, Чаловские — это, скорее всего, потомки либо обедневшей шляхты, либо государственных крестьян из северо-западных губерний Российской империи.

Фамилия редкая и компактная по ареалу. Если искать её корни, стоит обратить внимание на карты Витебской и Могилёвской губерний — там до сих пор встречаются топонимы с основой «чал». В современной России Чаловские чаще всего живут в Брянской и Смоленской областях, что подтверждает западнорусский след.