Фамилия Шельмин — одна из тех, где исходное слово почти исчезло из живого языка, а фамилия осталась. Основа здесь — «шельма». В старом русском языке так называли плута, мошенника, хитрого и ловкого человека. Слово пришло из немецкого (Schelm — проказник, плут) через польское посредство, и в XVII–XVIII веках его активно использовали в быту. Человек, получивший прозвище Шельма, мог быть не обязательно злостным обманщиком — скорее, хитрецом, умеющим выкрутиться из любой ситуации. В народе к таким относились с усмешкой, а не с ненавистью.

Фамилия образована по самой распространённой модели: к основе «Шельм» добавили суффикс притяжательности -ин, который отвечает на вопрос «чей?». Шельмин — буквально «сын Шельмы» или «человек из рода Шельмы». Суффикс -ин, а не -ов, указывает на то, что основа оканчивалась на «а»: Шельма — Шельмин. Это типично для прозвищ и имён, заканчивающихся на -а, -я (сравните: Фома — Фомин, Савва — Саввин).

В географическом плане фамилия Шельмин встречается преимущественно в центральных и северных областях России, особенно в Вологодской, Костромской и Кировской областях. Это зона, где прозвища с бытовой, часто ироничной окраской давали особенно охотно. Встречается также и вариант Шельмов, но он заметно реже — возможно, из-за того, что форма «Шельма» быстрее притягивала суффикс -ин.

Стоит отметить, что в некоторых говорах «шельма» имела и другое значение — «нечистая сила», «чёрт». В этом случае прозвище могли дать не за характер, а по суеверным причинам: чтобы уберечь ребёнка от сглаза, его называли «плохим» именем. Однако эта версия менее вероятна: у слова «шельма» в русском языке доминировало бытовое, а не мистическое значение, и фамилия Шельмин почти наверняка ведёт род от какого-то ловкача, умевшего обвести вокруг пальца кого угодно.

Других версий происхождения, заслуживающих серьёзного внимания, нет. Связь с рекой Шельмой или с финно-угорскими корнями возможна только при очень сильной натяжке — суффикс -ин в таких случаях обычно не работает, а сама фамилия звучала бы иначе.