По одной из версий, в его основе лежит литовское слово šėmas - «пепельный (масть скота)». Возможно, оно указывало на цвет волос человека. Однако не исключено, что у основателя рода Шемис было стадо, в котором преобладали животные пепельного цвета. Согласно другой гипотезе, фамилия Шемис является немецко-балтийской. В таком случае в ее основе лежит нижненемецкое слово scheme, schem - «маска», «тень». Возможно, так называли загадочного или мрачного человека, либо актера народного театра.