Фамилия Кармальский звучит как типичная фамилия-прилагательное, созданная по модели на -ский. Такие фамилии в большинстве своём указывают на географическое происхождение: предок носителя был либо владельцем, либо уроженцем места с названием Кармалы или Кармаль. И действительно, на карте восточноевропейской части бывшей Российской империи есть несколько таких топонимов. Наиболее вероятные точки отсчёта — селения с корнем «Кармал» в Татарстане и Башкортостане (например, Кармалы, Кармалка), а также в Беларуси (деревня Кармалы в Гродненской области). В каждом из этих случаев фамилия отвечает на вопрос «откуда человек?»: Кармальский — тот, кто из Кармалов.

Основа «кармал» имеет несколько возможных корней. В тюркских языках, особенно в татарском и башкирском, «карма» может означать «вяз» (дерево), а «кармалы» — «вязовое место» или «место, где растут вязы». Это типичный принцип образования названий деревень по природным признакам. В славянских говорах встречается слово «карма» в значении «корм, кормёжка», но для топонима это менее характерно. Также существует версия о связи с личным именем Кармал — вариантом крестильного имени Кармил, которое встречается в святцах, но эта гипотеза слабее: имя редкое, а фамилий на -ский от полных канонических имён в этой форме почти не образуют.

Примечательна и словообразовательная деталь. Фамилия Кармальский — с мягким знаком перед суффиксом. Это не случайность, а указание на то, что в исходном названии конечный согласный основы был мягким: Кармаль (а не Кармал). Такое написание встречается в некоторых белорусских и польских топонимах (ср. Кармаль, Кермаль). Если фамилия действительно из этих краёв, то её носители — скорее всего потомки шляхты или крестьян, переселившихся из Западного края, где суффикс -ский был особенно распространён среди дворянства, но со временем стал и крестьянским.

Сословная принадлежность первых Кармальских могла быть разной. В XIX веке фамилии на -ский в центральной России часто давали семинаристам при поступлении в духовные училища — по названию села или прихода. Так что Кармальский мог быть и сыном священника из села Кармалы. В то же время в татарской среде эта фамилия могла появиться как русифицированная форма от тюркской фамилии Кармалов или Кармалиев — через добавление суффикса -ский при переходе в православие или при получении паспорта.

Сегодня фамилия встречается нечасто, но её география широка: от Беларуси до Урала. Носители могут и не знать, что их предки жили в «вязовом месте» или в деревне с таким названием, но сама фамилия хранит эту привязку к конкретному клочку земли.